[論文レビュー] Training Deep Neural Networks via Direct Loss Minimization

Yang Song, Alexander G. Schwing+2 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Neural Network Applications参考文献 16被引用数 31

ひとこと要約

この論文は、平均適合度（AP）など、通常は勾配ベースの手法に適さない非微分可能損失関数を、アプリケーション固有のものとして直接最小化するフレームワークを提案する。このアプローチはMcAllesterら（2010）の理論を非線形モデルに拡張し、勾配を計算するための新規な動的計画法を用いる。これにより、エンドツーエンドの学習が可能となり、特にアクション認識およびオブジェクト検出タスクにおけるラベルノイズ下でも、代替損失ベースラインを上回る性能を発揮する。

ABSTRACT

Supervised training of deep neural nets typically relies on minimizing cross-entropy. However, in many domains, we are interested in performing well on metrics specific to the application. In this paper we propose a direct loss minimization approach to train deep neural networks, which provably minimizes the application-specific loss function. This is often non-trivial, since these functions are neither smooth nor decomposable and thus are not amenable to optimization with standard gradient-based methods. We demonstrate the effectiveness of our approach in the context of maximizing average precision for ranking problems. Towards this goal, we develop a novel dynamic programming algorithm that can efficiently compute the weight updates. Our approach proves superior to a variety of baselines in the context of action classification and object detection, especially in the presence of label noise.

研究の動機と目的

• 標準的な深層学習学習の限界、すなわち交差エントロピーなどの微分可能代替損失に依存するが、平均適合度（AP）のようなアプリケーション固有の指標と一致しない点を解決すること。
• ランク付けや構造予測に一般的に見られる非滑らかで分解不能な損失関数を直接最小化する手法を開発し、非線形モデルへの理論的勾配計算を拡張すること。
• 真のタスク損失を用いたエンドツーエンドの深層ニューラルネットワークの学習を可能にし、現実世界の応用におけるラベルノイズに対するロバストネスを向上させること。
• アクション分類やオブジェクト検出のような複雑で現実的なタスクにおいて、直接損失最小化の有効性を示すこと。標準的な代替損失はノイズのある教師信号下で失敗する。

提案手法

• McAllester ら（2010）の線形モデル向け勾配計算の定理を、非線形ディープニューラルネットワークに拡張。非微分可能タスク損失のネットワークパラメータに関する勾配を導出する。
• 非微分可能損失関数（例：AP）の勾配を効率的に計算するための新規な動的計画法を導入。これにより、損失の非滑らかさと非分解性を克服する。
• 温度制御されたソフトマックスを用いた非微分可能損失関数の微分可能近似を用いることで、バックプロパゲーションを可能にしつつ、元の指標の構造を保持する。
• 計算された勾配を確率的最適化に適用し、期待されるタスク損失を最小化。これにより、ランク付けや検出におけるAPなどの指標を直接最適化する。
• オブジェクト検出では全バッチAP計算が高すぎる境界ボックス数のために非現実的であるため、APのミニバッチ近似を用いて学習を可能にする。
• モデルスコアとタスク損失を組み合わせた修正されたスコア関数を用い、最適化を真のアプリケーション指標を最小化する方向に誘導する。

実験結果

リサーチクエスチョン

• RQ1 非微分可能で分解不能な損失関数（例：平均適合度）を、代替損失を回避してディープニューラルネットワークで直接最小化できるか？
• RQ2 非線形モデルにおける非滑らかで離散的な損失関数の勾配を、ニューラルネットワークパラメータに関してどのように計算できるか？
• RQ3 アプリケーション固有の損失（例：AP）を直接最適化することで、代替損失学習と比較して一般化性能が向上するか、特にラベルノイズ下で？
• RQ4 提案された動的計画法に基づく勾配計算は、数千個の境界ボックスを含む大規模なビジョンタスク（例：オブジェクト検出）に効率的にスケーリング可能か？
• RQ5 直接損失最小化は、構造予測SVMや交差エントロピー学習と比較して、性能およびノイズラベルに対するロバストネスにおいて優れているか？

主な発見

• アクション分類において、提案手法は交差エントロピーとハッチェス損失ベースラインを上回り、クリーンラベル下で48.5%の平均APを達成。交差エントロピーは45.6%、ハッチェス-APは47.6%であった。
• 20%のラベルノイズを伴うオブジェクト検出では、直接AP最小化（pos-AP）が40.3%の平均APを達成。ハッチェス-APベースラインは完全に失敗（0.0%平均AP）した。
• pos-AP手法はノイズ下でも高い性能を維持し、クリーン設定からノイズ設定への平均AP低下が10.2%にとどまる。一方、ハッチェス-APは同じノイズ下で完全に崩壊した。
• ラベルノイズに対するロバストネスが顕著に優れており、オブジェクト検出においてpos-APはクリーンラベル性能の85.5%を維持した。一方、ハッチェス-APは0%にまで低下した。
• 動的計画法により、分解不能な損失に対する効率的な勾配計算が可能となり、ディープネットワークにおけるAPの直接最適化が現実可能となった。
• アクション分類において、直接損失手法は48.5%の平均APを達成。最も強力なベースライン（ハッチェス-AP）を0.9ポイント上回り、指標最適化学習における一貫した向上を示した。