[論文レビュー] Learning with Fenchel-Young Losses

Mathieu Blondel, André F. T. Martins+1 more|arXiv (Cornell University)|Jan 8, 2019

Statistical Mechanics and Entropy参考文献 97被引用数 7

ひとこと要約

この論文は、凸双対性を用いた一様なフレームワークとしてFenchel-Young損失を導入し、分類、回帰、構造予測を含む多様な教師あり学習タスクにおける凸損失関数の体系的設計を可能にする。このフレームワークは、ヒンジ損失、ロジスティック損失、sparsemax損失といった既知の損失関数を回復する一方で、スパarsityやマージン最大化といった望ましい性質を持つ、新たな効率的損失関数の設計も可能にする。

ABSTRACT

Over the past decades, numerous loss functions have been been proposed for a variety of supervised learning tasks, including regression, classification, ranking, and more generally structured prediction. Understanding the core principles and theoretical properties underpinning these losses is key to choose the right loss for the right problem, as well as to create new losses which combine their strengths. In this paper, we introduce Fenchel-Young losses, a generic way to construct a convex loss function for a regularized prediction function. We provide an in-depth study of their properties in a very broad setting, covering all the aforementioned supervised learning tasks, and revealing new connections between sparsity, generalized entropies, and separation margins. We show that Fenchel-Young losses unify many well-known loss functions and allow to create useful new ones easily. Finally, we derive efficient predictive and training algorithms, making Fenchel-Young losses appealing both in theory and practice.

研究の動機と目的

• ヒンジ損失、ロジスティック損失、sparsemax損失といった既存の多様な損失関数を、単一の理論的枠組みで統一すること。
• 正則化予測関数と凸双対性を活用することで、新たな損失関数を原理的かつ幾何学的に設計するアプローチを提供すること。
• 構造予測におけるスパarsity、一般化エントロピー、分離マージンの間の理論的関係を確立すること。
• 双対性に基づく最適化によって、効率的な学習および予測アルゴリズムの実現を可能にすること。
• 確率的分類にとどまらず、凸ポリトープ、コーン、正の測度といった構造的ドメインへもこのフレームワークを拡張すること。

提案手法

• フレームワークは、予測関数とその共役関数の間のFenchel-Young不等式のギャップとして損失を構築し、凸双対性を用いて凸性を保証する。
• Fenchel-Young構成を用いて損失を定義する：$\ell(\bm{\theta}; y) = \Omega^*(\bm{y}) - \bm{y}^\top \bm{\theta} + \Omega(\bm{\theta})$、ここで$\Omega$は正則化関数、$\bm{y}$は予測値である。
• 適切な凸共役関数を選択することで、ソフトマックス、sparsemax、マージナル推論など、任意の正則化予測関数へ一般化可能である。
• プライマルおよびデュアル最適化アルゴリズムを効率的に導出しており、特にデュアル問題を解くためのニュートン型手法を含む。
• 予測値$\bm{y}$を凸集合（例えば単体、ポリトープ）内の点として定義することで、構造的出力に対応し、幾何学的損失設計を可能にする。
• 任意の正則化予測関数から新たな損失関数を生成するための体系的手続き「Fenchel-Youngization」を導入する。

実験結果

リサーチクエスチョン

• RQ1 分類、構造予測、非確率的モデルを含む多様な教師あり学習タスクに対して、凸損失関数を体系的に構築できる単一の統一的フレームワークを開発できるか？
• RQ2 Fenchel-Young損失は、ヒンジ損失、ロジスティック損失、sparsemax損失といった古典的損失関数とどのように関係しており、それらを統一する理論的原則は何か？
• RQ3 Fenchel-Young損失の幾何学的および統計的性質（特にスパarsity、マージン最大化、構造的出力空間における分離性）は何か？
• RQ4 このフレームワークは、ランキング損失や正の測度損失といった、凸かつ効率的に最適化可能な新たな有用な損失関数を生成できるか？
• RQ5 Fenchel-Young構成から導出されたプライマルおよびデュアル最適化手順の理論的・アルゴリズム的性質は何か？

主な発見

• Fenchel-Youngフレームワークは、ヒンジ損失、ロジスティック損失、sparsemax損失、CRF損失を含む12種類の既知の損失関数を回復し、広範な統一性を示した。
• フレームワークにより、SparseMAP損失がユニット分離マージンを達成することを証明し、そのロバストネスに対する理論的根拠を提供した。
• 滑らか化ヒンジ損失に関しては、Fenchel-Young双対の閉形式表現を導出し、効率的な最適化を可能にした。
• フレームワークは、ランキング損失や正の測度損失といった新たな損失関数の設計を可能にし、従来の確率的設定を越えた拡張を実現した。
• プライマルおよびデュアル学習アルゴリズムは効率的であり、特に高次元の構造的出力において、デュアル法が実用的により速く収束することが示された。
• 理論的分析により、Fenchel-Young損失がFisher一致性を満たし、一般化分離マージンをサポートすることが確認され、一般化誤差境界と関連づけられた。