[論文レビュー] Learning Wasserstein Embeddings

Nicolas Courty, Rémi Flamary+1 more|arXiv (Cornell University)|Oct 20, 2017

Advanced Neural Network Applications参考文献 34被引用数 9

ひとこと要約

本稿では、ユークリッド空間への確率分布の埋め込みを提案する深層学習フレームワークを提示する。ここでユークリッド距離がウォッサーシュタイン距離を近似するように設計されており、バarycenter や補間といったウォッサーシュタインに基づく操作の高速化を可能にする。シアンプル・オートエンコーダー構造を用いることで、正確な最適輸送解と比較して最小限の精度損失でリアルタイム推論（1回の補間あたり4 ms）を実現する。

ABSTRACT

The Wasserstein distance received a lot of attention recently in the community of machine learning, especially for its principled way of comparing distributions. It has found numerous applications in several hard problems, such as domain adaptation, dimensionality reduction or generative models. However, its use is still limited by a heavy computational cost. Our goal is to alleviate this problem by providing an approximation mechanism that allows to break its inherent complexity. It relies on the search of an embedding where the Euclidean distance mimics the Wasserstein distance. We show that such an embedding can be found with a siamese architecture associated with a decoder network that allows to move from the embedding space back to the original input space. Once this embedding has been found, computing optimization problems in the Wasserstein space (e.g. barycenters, principal directions or even archetypes) can be conducted extremely fast. Numerical experiments supporting this idea are conducted on image datasets, and show the wide potential benefits of our method.

研究の動機と目的

• 大規模な機械学習応用におけるウォッサーシュタイン距離計算の高コスト問題に対処すること。
• バarycenter や地図、補間といったウォッサーシュタインに基づく操作の高速近似を可能にすること。
• ユークリッド距離が確率測度間のウォッサーシュタイン距離を模倣するようなユークリッド埋め込みを学習すること。
• 埋め込みとその逆写像を同時に学習し、埋め込み空間からの分布再構築を可能にすること。
• 異なるデータ複雑性を示す複数のデータセット間で学習済み埋め込みの転送可能性を評価すること。

提案手法

• ウォッサーシュタイン距離が小さい分布同士のユークリッド距離も小さくなるように学習される、シアンプル・ニューラルネットワークアーキテクチャを用いて、確率分布を低次元ユークリッド空間に埋め込む。
• 入力分布を埋め込み表現から再構築するための別個のデコーダーネットワークを学習し、逆写像を可能にする。
• ウォッサーシュタイン距離が小さい分布ペairに対してユークリッド距離を小さく保つように、コントラスト型損失関数を用いてモデルを学習する。
• 埋め込みと再構築のエンドツーエンド学習を可能にし、埋め込み空間における効率的な推論を実現する。
• Exactなウォッサーシュタイン距離はPOTツールボックスを用いて計算し、MNISTおよび3つのドローイングデータセット（Cat, Crab, Faces）を用いて評価する。
• 埋め込み空間内でウォッサーシュタイン補間およびバarycenter計算を実行し、正確な線形計画法および正則化最適輸送解と比較する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、埋め込み点間のユークリッド距離が元の分布間のウォッサーシュタイン距離を近似するようなユークリッド埋め込みを学習できるか？
• RQ2 特に複雑で多様なデータ分布に対して、学習済み埋め込みはウォッサーシュタイン空間の幾何的構造をどの程度保持できるか？
• RQ3 あるデータセットで学習した埋め込みが、異なるデータ特性を示す別のデータセットへどの程度転送可能か？
• RQ4 提案手法の計算効率は、正確な最適輸送ソルバーや正則化OT手法と比較してどの程度か？
• RQ5 埋め込みとその逆写像の共同学習により、埋め込み空間からの入力分布の再構築が高精度に可能になるか？

主な発見

• ウォッサーシュタイン補間の推論は、本手法で1回あたり4 msのリアルタイム処理を達成したのに対し、正確な線形計画法ソルバーでは20秒もかかっていた。
• MNISTデータセットでは、ウォッサーシュタイン距離の再構築に平均二乗誤差（MSE）0.405を達成しており、高い忠実性を示している。
• データセット間での性能評価では、中程度の精度低下（例：ドローイングで学習したモデルをMNISTに適用した場合、MSE ≈ 10–50）が見られたが、同様のデータドメイン間では安定性を維持していた。
• オートエンコーダーの再構築誤差による微細な詳細の損失は多少あるものの、滑らかで連続的な補間を生成し、最適輸送の挙動を反映していた。
• 正則化最適輸送（Bregman射影）は正確なLPより高速だが、ぼやけた結果になる。一方、DWE手法は速度と視覚的妥当性の両立に成功していた。
• 本フレームワークにより、直接的なウォッサーシュタイン最適化と比較して、ウォッサーシュタインバarycenterや主成分方向の計算コストを顕著に低減できた。