[論文レビュー] A Convex Surrogate Operator for General Non-Modular Loss Functions

Jiaqian Yu, Matthew B. Blaschko|arXiv (Cornell University)|Apr 12, 2016

Advanced Neural Network Applications参考文献 20被引用数 6

ひとこと要約

本稿は、任意の損失関数を単調増加および単調減少成分に分解することで、従来の凸な代替関数では取り扱えなかった一般の非モジュラー損失関数に対して、新たな凸な代替演算子を導入する。単調増加部分にはスラック再スケーリング、単調減少部分にはLovászヘッジを組み合わせることで、凸性、区分線形性、多項式時間の部分勾配計算を保証する。実験的検証により、Sørensen-Diceのような非単調損失関数において、性能向上とスケーラビリティの両方が確認された。

ABSTRACT

Empirical risk minimization frequently employs convex surrogates to underlying discrete loss functions in order to achieve computational tractability during optimization. However, classical convex surrogates can only tightly bound modular loss functions, sub-modular functions or supermodular functions separately while maintaining polynomial time computation. In this work, a novel generic convex surrogate for general non-modular loss functions is introduced, which provides for the first time a tractable solution for loss functions that are neither super-modular nor submodular. This convex surro-gate is based on a submodular-supermodular decomposition for which the existence and uniqueness is proven in this paper. It takes the sum of two convex surrogates that separately bound the supermodular component and the submodular component using slack-rescaling and the Lov{á}sz hinge, respectively. It is further proven that this surrogate is convex , piecewise linear, an extension of the loss function, and for which subgradient computation is polynomial time. Empirical results are reported on a non-submodular loss based on the S{ø}rensen-Dice difference function, and a real-world face track dataset with tens of thousands of frames, demonstrating the improved performance, efficiency, and scalabil-ity of the novel convex surrogate.

研究の動機と目的

• 非単調かつ非単調増加でない一般の非モジュラー損失関数に対して、従来は取り扱いが困難であった凸代替関数の欠如を解消すること。
• 任意の集合関数をタイトに近似しつつ、多項式時間の部分勾配計算を維持する凸代替関数を構築すること。
• Sørensen-Diceインデックスのような構造予測で一般的に用いられる非モジュラー損失関数のための効率的な最適化を可能にすること。
• スラック再スケーリングやLovászヘッジといった既存の代替関数を、より広範な損失関数クラスへ一般化すること。
• 数万フレームに及ぶ実世界のデータセットにおいて、スケーラビリティと性能向上を実証すること。

提案手法

• 任意の一般集合関数を非負の単調増加成分と単調減少成分に分解する手法を提案する。
• 任意の集合関数に対して、この分解が存在し一意であることを証明する。
• スラック再スケーリング（単調増加部分）とLovászヘッジ（単調減少部分）の和として、凸代替関数を構築する。
• この代替関数が凸かつ区分線形であり、元の損失関数の拡張であり、多項式時間の部分勾配計算が可能であることを保証する。
• 訓練にはカットプレーン法とプリミナル・デュアル最適化を採用し、確率的勾配降下法やニューラルネットワークとも互換性を持つ。
• 合成実験および数万フレームに及ぶ実世界の顔追跡データセットを用いた検証により、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 非単調かつ非単調増加でない一般の非モジュラー損失関数に対して、凸代替関数を構築できるか？
• RQ2 任意の集合関数を単調減少および単調増加成分に一意かつ計算的に扱いやすい形で分解できるか？
• RQ3 提案手法の代替関数は、スラック再スケーリングやハミング損失と比較して、収束速度およびテスト誤差の面で優れているか？
• RQ4 確率的勾配降下法などの標準的な機械学習手法を用いて、代替関数を効率的に最適化できるか？
• RQ5 高次元出力を持つ大規模な構造予測タスクに対しても、この手法は効果的にスケーリングできるか？

主な発見

• 提案された凸代替演算子は、標準SVMと同等のプライマル・デュアル収束速度を達成しており、効率的な最適化が可能であることを示している。
• Sørensen-Dice損失において、スラック再スケーリングや0-1損失と比較して、テスト誤差が顕著に低減しており、特に単調減少成分が非負である場合に最も低い誤差を記録した。
• 損失増強推論において、1イテレーションあたりの計算コストはスラック再スケーリングと同等であり、性能向上にもかかわらず顕著なオーバーヘッドは発生しなかった。
• 10分割交差検証において、p=10では平均テスト誤差0.002±0.000、p=50では0.018±0.003、p=100では0.060±0.008を達成し、ベースライン手法を上回った。
• 大規模データセットに対しても効果的にスケーリングでき、数万フレームに及ぶ顔追跡データセットへの応用に成功した。
• 代替関数はLovászヘッジを一般化しており、非単調増加損失関数に対して、スラック再スケーリングよりも凸閉包にタイトに近い近似を提供する。