[論文レビュー] Learning Classifiers with Fenchel-Young Losses: Generalized Entropies, Margins, and Algorithms

Mathieu Blondel, André F. T. Martins+1 more|arXiv (Cornell University)|May 24, 2018

Neural Networks and Applications被引用数 23

ひとこと要約

本稿では、正則化関数から凸損失関数を構築するための統一的枠組みとしてFenchel-Young（F-Y）損失を導入し、マージンやスパース確率分布といった望ましい性質を持つ新たな損失の構築を可能にする。F-Y損失がロジスティック損失、ハッチェス損失、スパースマックス損失を一般化することを示し、計算のための効率的アルゴリズムを導出する。

ABSTRACT

This paper studies Fenchel-Young losses, a generic way to construct convex loss functions from a regularization function. We analyze their properties in depth, showing that they unify many well-known loss functions and allow to create useful new ones easily. Fenchel-Young losses constructed from a generalized entropy, including the Shannon and Tsallis entropies, induce predictive probability distributions. We formulate conditions for a generalized entropy to yield losses with a separation margin, and probability distributions with sparse support. Finally, we derive efficient algorithms, making Fenchel-Young losses appealing both in theory and practice.

研究の動機と目的

• Fenchel双対性と正則化を用いて、原理的かつ汎用的な凸損失関数の構築フレームワークを提供すること。
• ハッチェス損失、ロジスティック損失、スパースマックス損失といったよく知られた損失を一つの理論的枠組みで統一すること。
• 分離マージンとスパース確率分布を有する損失を生成する一般化エントロピーの特徴を特定すること。
• 関連する確率分布および勾配の計算のための効率的アルゴリズムを導出すること。
• F-Y損失の実用的有用性を、スパースラベル割合推定などのタスクにおいて示すこと。

提案手法

• 正則化関数のFenchel共役を用いて正則化された予測関数を定義し、スコアと正則化のトレードオフを最大化することで、スコアから予測を導出する。
• 真のラベルと予測分布の間のBregman散発を用いて、正則化関数 Ω から導出されるFenchel-Young損失を構築する。
• Fenchel-Young不等式を用いて、スコアベクトル θ における損失の凸性を保証する。
• Ω が一般化エントロピー（例：シャノンまたはツァリス）である場合、その結果得られる損失は、明確な予測分布を持つ適切なスコアルールであることを示す。
• 滑らかでない正則化子（例：単体への射影）に対しても、予測関数とその勾配の計算のための効率的アルゴリズムを導出する。
• 予測確率分布がスパースであり、損失関数が分離マージンを示す条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 Fenchel-Young損失は、ハッチェス損失、ロジスティック損失、スパースマックス損失といった既存の凸損失関数を、一つのフレームワークで統一できるか？
• RQ2 一般化エントロピーにどのような条件を課すと、その結果得られるF-Y損失が分離マージンを有するようになるか？
• RQ3 正則化関数が誘導する予測関数がスパース確率分布を生成する条件は何か？
• RQ4 滑らかでない正則化関数の場合に、F-Y損失のための効率的最適化アルゴリズムをどのように導出できるか？
• RQ5 一般化エントロピー、マージン、スパース性の関係は、Fenchel-Young損失の文脈でどのように解釈されるか？

主な発見

• Fenchel-Young損失は、正則化と双対性に基づく単一のフレームワークとして、ハッチェス損失、ロジスティック損失、スパースマックス損失を特殊ケースとして一般化・統一する。
• Fenchel-Young損失はスコアベクトル θ において凸であるため、良好な最適化特性を有する。
• 正則化関数 Ω が一般化エントロピー（例：シャノンまたはツァリス）である場合、その結果得られる損失は、明確な予測分布を持つ適切なスコアルールである。
• 損失が分離マージンを有するための必要十分条件は、正則化関数 Ω が強凸かつLegendre型であることである。
• 正則化関数が滑らかでない（例：単体の指示関数）場合、予測確率分布にスパース性が生じ、これはスパースマックスに対応する。
• Ω がLegendre型の場合、Fenchel-Young損失は標準的な逆リンク関数を用いた合成損失と一致するが、F-Y損失は非可逆または非Legendre型のケースにも対応でき、より一般である。