[論文レビュー] Structured Optimal Transport

David Alvarez-Melis, Tommi Jaakkola+1 more|arXiv (Cornell University)|Dec 17, 2017

Topic Modeling参考文献 30被引用数 6

ひとこと要約

本稿では、部分集合関数を介して組み合わせ的構造（例えば、クラスラベルや句構造的近傍）を組み込む非線形最適輸送の一般化である構造的最適輸送を提案する。サブモジュラ幾何学と効率的なミラー・プロクス法を活用することで、グループ化を保つ構造的カップリングを可能にし、標準的およびクラス正則化最適輸送を上回る性能を示した。ドメイン適応および文書類似度タスクにおいて、正確性とブロック対角型輸送計画の両面で優れた結果が得られた。

ABSTRACT

Optimal Transport has recently gained interest in machine learning for applications ranging from domain adaptation, sentence similarities to deep learning. Yet, its ability to capture frequently occurring structure beyond the "ground metric" is limited. In this work, we develop a nonlinear generalization of (discrete) optimal transport that is able to reflect much additional structure. We demonstrate how to leverage the geometry of this new model for fast algorithms, and explore connections and properties. Illustrative experiments highlight the benefit of the induced structured couplings for tasks in domain adaptation and natural language processing.

研究の動機と目的

• 標準的最適輸送が地面メトリクスを超える内在的・外在的構造を捉える能力に限界があることに対処すること。
• マッピング間の依存関係（例えば、グループ化やトポロジカル制約）を符号化する非線形最適輸送フレームワークを構築すること。
• サブモジュラ関数の幾何的性質と確率的ポリトープを活用した効率的な最適化を可能にすること。
• ドメイン適応や構文意識的な文書類似度といった実世界の応用において、実証的利点を示すこと。
• 構造的カップリングが、より一貫性があり解釈可能で正確な輸送計画をもたらすことを示すこと。

提案手法

• コスト関数をサブモジュラ集合関数とする非線形最適輸送の定式化を提案。これにより、グループ化や近傍性といった組み合わせ的構造を符号化可能。
• 輸送ポリトープ（Sinkhorn反復を用いて）とサブモジュラ関数のベースポリトープへの交互射影を実行する、サドルポイント型ミラー・プロクス法を採用。
• サブモジュラ関数の投影がO(n log n)の計算量で可能であり、構造的制約の下での効率的計算を実現。
• 文における重複するn-gramや、ドメイン適応におけるクラスベースのグループ化を用いて、一貫性のあるマッピングを促進する構造的コストをモデル化。
• 正確な部分勾配射影を伴うミラー降下法により、凸最適化問題を解き、収束性と実行可能性を保証。
• 合成的および実世界のタスク（数字分類のドメイン適応、文書類似度予測など）に本フレームワークを適用。

実験結果

リサーチクエスチョン

• RQ1 分離可能コストを超えて、非線形的かつ構造的依存関係（例えば、源点と標的点間のグループ化やトポロジカル制約）を組み込むことのできる最適輸送の一般化は可能か？
• RQ2 サブモジュラ関数を用いて、輸送計画に組み合わせ的構造（例：クラスラベル、構文的グループ）を符号化する方法は何か？
• RQ3 サブモジュラ幾何学と組み合わせたミラー・プロクス法による、構造的最適輸送問題の計算効率とスケーラビリティはいかほどか？
• RQ4 構造の組み込みが、ドメイン適応および自然言語処理タスクの性能向上に寄与するか？
• RQ5 構造的カップリングは、標準的およびクラス正則化最適輸送と比較して、解釈可能性と正確性の面で優れているか？

主な発見

• 構造的最適輸送手法は、MNISTからUSPSへのドメイン適応で62.97%の正確性を達成し、逆方向では58.34%を記録。エントロピー正則化およびクラス正則化手法を含むすべてのベースラインを上回った。
• 本手法が誘導するカップリング行列は明確なブロック対角構造を示し、同じクラスラベルを持つ源点が標的空間のコンパクトな領域に一貫性を持ってマッピングされていることを反映していた。
• SICKデータセットにおける文書類似度予測において、構文意識的なバージョンは平均二乗誤差をWMDの0.67から0.59に低下させ、スピアマンのrhoも0.71から0.75に向上させた。
• 本手法は、サブモジュラ関数のベースポリトープへの正確な射影をO(n log n)時間で実行可能であり、計算効率が著しく向上した。
• フレームワークはサブモジュラリティを超えて一般化可能であり、有界な部分勾配を持つ任意の凸関数を用いることが可能であるが、サブモジュラ関数は強力な幾何的・アルゴリズム的利点を提供する。
• 実証的結果から、構造的カップリングが、特に側情報（例：クラスラベル、構文構造）が利用可能な場合、より一貫性があり正確な輸送計画をもたらすことが確認された。