[論文レビュー] Improving Deep Regression with Ordinal Entropy

Shihao Zhang, Linlin Yang+3 more|arXiv (Cornell University)|Jan 21, 2023

Neural Networks and Applications被引用数 9

ひとこと要約

この研究は、連続ターゲットに対するクロスエントロピー分類がMSE回帰よりも優れる理由を分析し、合成タスクと実データタスクの両方で回帰性能を向上させる順序的エントロピー正則化子を導入します。

ABSTRACT

In computer vision, it is often observed that formulating regression problems as a classification task often yields better performance. We investigate this curious phenomenon and provide a derivation to show that classification, with the cross-entropy loss, outperforms regression with a mean squared error loss in its ability to learn high-entropy feature representations. Based on the analysis, we propose an ordinal entropy loss to encourage higher-entropy feature spaces while maintaining ordinal relationships to improve the performance of regression tasks. Experiments on synthetic and real-world regression tasks demonstrate the importance and benefits of increasing entropy for regression.

研究の動機と目的

• ディープラーニングにおける連続ターゲットに対して、なぜ分類が回帰よりも優れていることが多いのかを調査する。
• 特徴空間のエントロピーが回帰学習に与える影響を説明する。
• 順序性を保ちながら特徴エントロピーを高めるエントロピーベースの正則化子を提案する。
• 合成の演算子学習タスクおよび実世界の回帰タスク（深度、群衆計数、年齢推定）で正則化子の有効性を示す。

提案手法

• 相互情報量に基づく比較を導出し、回帰はH(Z|Y)を最小化するがH(Z)は最小化しないことを示す。
• 最近傍平均エントロピー推定量を用いて特徴エントロピーを定量化する。
• ordinal entropy regularizerを導入し、diversity項L_dとtightness項L_tを用いてH(Z)を増加させつつ序数的関係を保つ。
• ラベル空間の距離w_{ij}=||y_i - y_j||で特徴センター間距離を重み付けし、序数構造を維持する。
• 最終損失L_total = L_m + lambda_d L_d + lambda_t L_tを定義し、回帰学習に組み込む。

実験結果

リサーチクエスチョン

• RQ1 なぜクロスエントロピーを用いた分類はMSEを用いた回帰よりも高エントロピーな特徴表現を促進するのか？
• RQ2 特徴エントロピーを増やすことで、序数関係を壊すことなく回帰性能にどのような影響を与えるのか？
• RQ3 順序的エントロピー正則化子は合成タスクおよび実世界タスクで回帰を改善できるのか？
• RQ4 正則化子の有効性に影響を与える主要因（正規化、重み付け、サンプルサイズ）は何か？

主な発見

• MSEを用いた回帰は、分類と比べて低エントロピーな特徴空間（Zがより多様でない）を学習する傾向がある。
• 順序的エントロピー正則化子は順序関係を保ちながら特徴センターを拡散させ、回帰性能を向上させる。
• 提案手法は深度推定、群衆計算、年齢推定で顕著な改善をもたらし、合成の演算子学習タスクでも強い利益を示す。
• アブレーションを行うと、順序距離の組み込み、正規化、バランスの取れた重み付けが効果の重要な要因であることが分かった。
• エントロピー解析は分類が回帰よりも高いH(Z)を保持することを示し、正則化子は訓練中にH(Z)を引き上げることができる。