[論文レビュー] Generalized Quantile Loss for Deep Neural Networks

Dvir Ben-Or, Michael Kolomenkin+1 more|arXiv (Cornell University)|Dec 28, 2020

Statistical Methods and Inference参考文献 6被引用数 9

ひとこと要約

本論文は、任意の微分可能損失関数を最小化する際に、予測値の指定された割合が真のラベルを超えることを保証するという、定量的制約を満たす新しい最適化フレームワークを提案する。勾配ベース最適化と可能な解集合への反復的射影を組み合わせることで、カウント制約の非微分可能性を克服し、収束を達成する。モーターサイクルデータセットを用いた実験により、さまざまな定量レベルにおいても高いロバスト性を示した。

ABSTRACT

This note presents a simple way to add a count (or quantile) constraint to a regression neural net, such that given $n$ samples in the training set it guarantees that the prediction of $m

研究の動機と目的

• 標準の勾配法が非微分可能なカウント関数のため失敗するため、深層ニューラルネットワークにおける定量的制約の強制という課題に対処すること。
• 標準のL1損失に限定されない、任意の微分可能な損失関数を用いることができる定量回帰の一般化。
• 局所的最小値と可能なカウント制約付き解の間を交互に探索する、実用的で収束性を示す最適化スキームの開発。
• 多様な定量要件を満たす実世界の回帰タスクにおける本手法の有効性の実証。
• 交互最適化プロセスの収束に関する理論的裏付けの提供。

提案手法

• 本手法は、一般損失関数の最小化を、正確にm個のn個の予測値が真のラベル以上になるというカウント制約の下で定式化する。
• 2つの演算子を用いた交互最適化スキームを導入する：$\mathcal{P}_M$ は損失関数の最近傍の局所的最小値を求めるものであり、$\mathcal{P}_C$ は重みをカウント制約を満たす最近傍の可能な解に射影するものである。
• $\mathcal{P}_C$ 演算子は、予測値が真の値を超えるサンプルが多すぎるか少なすぎるかに応じて、平均予測値に対する勾配上昇または下降を用いて実装される。
• アルゴリズムは、$\mathcal{P}_M$ と $\mathcal{P}_C$ を繰り返し適用し、カウント制約が許容誤差 $\delta$ の範囲内で満たされるまで繰り返す。
• 理論的分析により、連続する $\mathcal{P}_M$ と $\mathcal{P}_C$ の点間の距離が単調に減少し、有界であることが示され、安定解への収束が保証される。
• 非凸性に対してもロバストであり、損失関数がL1または定量的特化である必要がないため、MSE、交差エントロピー、その他の標準損失関数とも併用可能である。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを、真のラベルを超える予測値の数に硬い制約を課しながら、一般損失関数を最小化するようにトレーニング可能か？
• RQ2 非微分可能なカウント制約を、勾配ベースの深層学習最適化にどのように統合できるか？
• RQ3 提案された交互射影スキームは、実用的なトレーニング条件下でも安定解へ収束するか？
• RQ4 予測精度とさまざまな損失関数におけるロバスト性の観点から、本手法は標準的定量回帰と比べてどのように差を示すか？
• RQ5 許容誤差 $\delta$ が収束性および最終的なモデル性能に与える影響は何か？

主な発見

• 本手法は、最小二乗法による非制約最適化の際のRMSE 22.9（最高のベースライン性能）を達成する一方で、MSEを最小化するニューラルネットワークを効果的にトレーニングした。
• 25番目の百分位数制約では、RMSEが25.1に達し、厳しい定量的制約下でも低誤差を維持できることを示した。
• 75番目の百分位数制約では、RMSEが23.22に達し、異なる定量レベルにわたる良好な一般化性能を示した。
• 10番目の百分位数制約では、RMSEが29.8に上昇し、非常に低い予測カバレッジを強制すると誤差が増加することを示唆しており、予想通りのトレードオフであった。
• 90番目の百分位数制約では、RMSEが31.6に達し、カバレッジと精度のトレードオフがさらに明確に確認された。
• 理論的分析により、交互射影プロセスが収束することが確認された。連続する反復点間の距離は単調に減少し、有界である。