[論文レビュー] Geometric Losses for Distributional Learning

Arthur Mensch, Mathieu Blondel+1 more|arXiv (Cornell University)|May 15, 2019

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、エントロピー正則化最適輸送とフェンヒェル双対性を用いてロジスティック損失およびソフトマックスを一般化することで、連続的または無限のクラス空間における凸的でコスト感受性のある分布学習のための幾何的損失を導入する。主な貢献は、曲線や曲面などの内在的構造を持つ分布をモデル化できる幾何的ソフトマックスの構築であり、順序回帰やVAEを用いた生成モデリングにおいて性能向上を実現する。

ABSTRACT

Building upon recent advances in entropy-regularized optimal transport, and upon Fenchel duality between measures and continuous functions , we propose a generalization of the logistic loss that incorporates a metric or cost between classes. Unlike previous attempts to use optimal transport distances for learning, our loss results in unconstrained convex objective functions, supports infinite (or very large) class spaces, and naturally defines a geometric generalization of the softmax operator. The geometric properties of this loss make it suitable for predicting sparse and singular distributions, for instance supported on curves or hyper-surfaces. We study the theoretical properties of our loss and show-case its effectiveness on two applications: ordinal regression and drawing generation.

研究の動機と目的

• 構造的クラスコストを伴う確率的分類のための、コスト感受性で凸なソフトマックスの一般化が不足しているという問題に取り組む。
• 既存の最適輸送に基づく損失には非凸性や有限クラスに限定されるという制限があるため、それを克服する。
• 無限次元の出力空間においても凸性と幾何的忠実性を保ちながら、分布学習を可能にする。
• スパースで特異な分布（例：曲線上に支持を持つもの）を扱える理論的に整合性のあるFisher一致性を持つ損失を開発する。
• 順序回帰やVAEによる画像生成を含む実世界のタスクにおける有効性を実証する。

提案手法

• 測度と連続関数の間のフェンヒェル双対性に基づき、エントロピー正則化最適輸送に裏付けられた、新しい損失関数を形式化する。
• フェンヒェル共役を用いて幾何的ソフトマックスを定義し、クラス間のコスト行列を統合する標準ソフトマックスの一般化を実現する。
• 正則化最適輸送から導かれる凸的で弱-*連続なエントロピー関数を構築し、無限次元空間における理論的整合性を保証する。
• 連続測度空間における最適化のためのフレンク・ウルフに基づくアルゴリズムを提案する。
• 双対問題の反復的ソルバーを用いて離散設定でも実用的な計算を実現する。
• VAEにおける画像生成に幾何的損失とソフトマックスを統合し、ピクセル単位のオルセド距離を輸送コストとして使用する。

実験結果

リサーチクエスチョン

• RQ1 クラス間の幾何的関係を尊重しながら、ロジスティック損失を一般化し、凸的でコスト感受性のある損失を構築できるか？
• RQ2 理論的に整合性のある方法で、クラス間のメトリクス構造をソフトマックス演算子に統合できるか？
• RQ3 このような損失が、凸性を損なわずに連続的または無限の出力空間での学習を可能にするか？
• RQ4 幾何的損失は、順序回帰や図画生成のような構造的またはスパースな分布を含むタスクで性能向上をもたらすか？
• RQ5 特に低次元多様体上に分布をモデル化する際、幾何的損失は実用的にFisher一貫性であり、適切にキャリブレーションされているか？

主な発見

• 順序回帰において、幾何的損失は標準的なロジスティック回帰よりも平均絶対誤差（MAE）が優れているが、わずかに正解率に悪影響を及ぼす傾向があるものの、予測分布を完全に自然に提供する。
• 自動車データセットでは、幾何的損失がトレーニング中にハウスドルフ発散をよく追跡しており、理論的整合性を裏付ける上界としての役割を果たしていることが確認された。
• VAEを用いた図画生成において、幾何的ソフトマックスはエッジに沿って集中するシャープな再構成を生成し、非対称ハウスドルフ発散を最小化する点で標準的ソフトマックスを上回った。
• 生成モデリングにおいて、幾何的損失は標準的な交差エントロピーに比べてハウスドルフ発散を最小化する際に収束が速かった。
• 理論的保証を伴い、離散的分類を超えて無限または連続的出力空間をサポートする。
• 最適輸送ソルバーのための計算コストが約10倍に増加するが、構造的タスクにおける幾何的忠実性と予測品質の向上は顕著である。