[論文レビュー] Improving Regression Performance with Distributional Losses

Ehsan Imani, Martha White|arXiv (Cornell University)|Jun 12, 2018

Machine Learning and Data Classification参考文献 23被引用数 11

ひとこと要約

この論文は、ターゲットを確率分布としてモデル化し、予測分布とターゲット分布のKLダイバージェンスを最小化することで予測精度を向上させる、新しい分布的回帰損失であるヒストグラム損失（HL）を導入する。主な貢献は、過学習の低減や表現の向上ではなく、より最適化された勾配—より速い収束と滑らかな学習—が性能向上の要因であるということである。

ABSTRACT

There is growing evidence that converting targets to soft targets in supervised learning can provide considerable gains in performance. Much of this work has considered classification, converting hard zero-one values to soft labels---such as by adding label noise, incorporating label ambiguity or using distillation. In parallel, there is some evidence from a regression setting in reinforcement learning that learning distributions can improve performance. In this work, we investigate the reasons for this improvement, in a regression setting. We introduce a novel distributional regression loss, and similarly find it significantly improves prediction accuracy. We investigate several common hypotheses, around reducing overfitting and improved representations. We instead find evidence for an alternative hypothesis: this loss is easier to optimize, with better behaved gradients, resulting in improved generalization. We provide theoretical support for this alternative hypothesis, by characterizing the norm of the gradients of this loss.

研究の動機と目的

• ソフトターゲットと分布的出力を用いることで、過学習の低減を越えて回帰性能が向上する理由を調査すること。
• モデリングの柔軟性を保ちつつ高速な計算を可能にする、新しい効率的な分布的損失を提案すること。
• 分布的回帰における性能向上の主な要因が、表現や正則化ではなく最適化の性質であることを同定すること。
• より良い勾配の挙動が一般化性能の向上に寄与するという仮説を理論的および実験的に裏付けること。

提案手法

• ヒストグラム損失（HL）は、ハードな回帰ターゲットをターゲット分布（例：ガウス分布やバインの均等分布）に変換し、このターゲット分布と予測ヒストグラム密度とのKLダイバージェンスを最小化する。
• 予測分布は固定されたビン、幅、中心を持つヒストグラムとして表現され、モデリング能力を損なわずにKLダイバージェンスの計算を効率的に行える。
• 最終的な予測は、予測ヒストグラム分布の期待値として得られ、標準的な回帰評価と互換性がある。
• 損失関数の効果を分離するために、複数のデータセットにわたって標準的なℓ₂損失、ラベルスムージング、クリッピング／ノイズ付きの変種と比較する。
• 訓練エポック全体にわたって勾配ノルムを計算・正規化し、最適化の安定性と収束速度を評価する。
• アブレーションスタディでは、HLとℓ₂ + softmax、ℓ₂にノイズ／クリッピングを加えたものとを比較し、非線形性や正則化とは別に分布的損失の影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 分布的損失を用いて回帰ターゲットを分布としてモデル化することで、標準的なℓ₂損失を超えて一般化性能が向上するか？
• RQ2 性能向上の要因は過学習の低減、より良い表現、それとも最適化ダイナミクスの向上にあるか？
• RQ3 訓練中にヒストグラム損失の勾配ノルムは、標準的な回帰損失と比べてどのように異なるか？
• RQ4 KLダイバージェンスに基づく分布的損失は、より速い収束とより安定した学習をもたらすか？
• RQ5 ターゲット分布の選択（例：ガウス分布対均等分布）が性能と最適化に与える影響は何か？

主な発見

• ヒストグラム損失（HL）は回帰精度を顕著に向上させ、CTポジションデータセットではテストMAEをℓ₂ベースラインの18.421から8.992に低下させた。
• HL-Gaussianは、正規化された勾配ノルムプロットにより、ℓ₂よりも収束が速く、勾配が滑らかであることが示された。
• アブレーションスタディにより、HLの向上は過学習の低減や表現の向上によるものではなく、ノイズまたはクリッピングを加えたℓ₂と比較して明らかに優れていることが示された。
• HL-Gaussianの勾配ノルムは、常に有界で安定しており、より最適化された勾配が一般化性能の向上に寄与するという仮説を支持する。
• 100パラメータと非線形性を追加するℓ₂ + softmaxでさえ、HL-Gaussianははるかに大きなマージンで上回っており、損失構造自体が鍵であることが示された。
• 理論的分析により、HLの勾配ノルムが大きくならず、広範囲にわたって変動しないことが示され、その最適化特性の優位性が裏付けられた。