[論文レビュー] Towards Optimal Transport with Global Invariances

David Alvarez-Melis, Stefanie Jegelka+1 more|arXiv (Cornell University)|Jun 25, 2018

Transportation Planning and Optimization被引用数 21

ひとこと要約

本論文は、学習された表現が回転や反転などのグローバル変換に対して不変であることを考慮し、輸送結合とグローバル変換（例：回転、反転）を同時に最適化する離散的最適輸送の新規定式を提案する。不変性をOT目的関数に直接組み込むことで、敵対的代替手法よりも著しく低い計算コストで、自己教師学習型単語翻訳において最先端の性能を達成する。

ABSTRACT

Many problems in machine learning involve calculating correspondences between sets of objects, such as point clouds or images. Discrete optimal transport provides a natural and successful approach to such tasks whenever the two sets of objects can be represented in the same space, or at least distances between them can be directly evaluated. Unfortunately neither requirement is likely to hold when object representations are learned from data. Indeed, automatically derived representations such as word embeddings are typically fixed only up to some global transformations, for example, reflection or rotation. As a result, pairwise distances across two such instances are ill-defined without specifying their relative transformation. In this work, we propose a general framework for optimal transport in the presence of latent global transformations. We cast the problem as a joint optimization over transport couplings and transformations chosen from a flexible class of invariances, propose algorithms to solve it, and show promising results in various tasks, including a popular unsupervised word translation benchmark.

研究の動機と目的

• 多くの学習された表現（例：単語埋め込み）は、回転や反転などのグローバル変換に対して不変であるが、これにより対応するペアワイズ距離が定義されにくくなり、標準的な最適輸送が適用できなくなる。
• 既存の手法は、変換が既知であると仮定するか、初期化に敏感で過学習しやすい、複雑で調整が難しいニューラルネットワークマッピングに依存している。
• 根本的な問題は、一元的で微分可能な最適化フレームワーク内で、最適輸送結合と潜在的グローバル変換を同時に学習することにある。
• 幾何的忠実性を保ちつつ、表現レベルの不変性に対して頑健である、原理的で凸的かつ効率的な手法を構築することが目的である。
• 本手法は、プロクラステスアライメントやグロモフ・ワッサーシュタイン距離といった既存手法を、統一的な最適化フレームワークの下に統合することを目的とする。

提案手法

• フレームワークは、回転群や直交群などの柔軟なグローバル不変性クラスからの変換行列を含む、輸送計画（結合）と変換行列の両方を同時に最適化する形で最適輸送を定式化する。
• 輸送コストと変換に対するペナルティまたは制約を組み込んだ正則化目的関数を導入し、指定された群作用に対して不変性を確保する。
• 効率的な最適化のため、解がグローバル最適解に滑らかに近づくように、凸性の緩和スキームを採用する。これにより初期値への感度が低下する。
• アルゴリズムは、輸送計画のためのシンコープ反復と、変換行列のための勾配ベース更新を交互に実行することで、スケーラブルな計算を実現する。
• 直交、回転、反転などのさまざまな不変性タイプに一般化可能であり、特に直交行列上のフロベニウスノルム最小化に特化した応用も可能である。
• 決定論的および正則化された定式化の両方をサポートしており、後者は滑らかな収束と、教師なし目的関数に基づく早期停止を可能にする。

実験結果

リサーチクエスチョン

• RQ1 回転や反転などのグローバル変換に対して不変な表現を扱えるように、最適輸送を一般化できるか？
• RQ2 変換が未知である場合に、輸送結合と潜在的変換の共同最適化を効率的かつ頑健に実現できるか？
• RQ3 不変性をOT目的関数に直接組み込むことで、反復的または敵対的代替手法よりも優れたアライメント性能が得られるか？
• RQ4 本フレームワークは、プロクラステスアライメントやグロモフ・ワッサーシュタイン距離といった既存手法を、統一的な最適化フレームワークで統合できるか？
• RQ5 本手法は、精度において最先端の自己教師学習型単語翻訳ベースラインと同等の性能を発揮するか？ また、計算コストは著しく低いか？

主な発見

• 提案手法は、英語→スペイン語、フランス語、イタリア語、ドイツ語、ロシア語の5つの言語対について、最先端の自己教師学習型単語翻訳手法と同等の性能を達成した。
• 敵対的またはワッサーシュタインベースの手法と比較して、翻訳精度に優れ、計算コストは僅かにわずかの割合にまで低下した。
• 最適化目的関数と翻訳精度の間に強い相関関係が認められ、教師なしラベルが入手不可であっても、信頼性の高いモデル選択や早期停止が可能になった。
• 過学習による性能劣化のリスクが最小限に抑えられ、敵対的学習ベースラインと異なり、安定した収束ダイナミクスを示した。
• 本フレームワークはグロモフ・ワッサーシュタイン距離との関連を明らかにし、不変性をコア最適化に組み込むことで、従来のプロクラステスに基づく手法を一般化した。
• 初期値に頑健であり、複雑な後処理や敵対的精錬ステップを必要としなかった。