[論文レビュー] Subspace Detours: Building Transport Plans that are Optimal on Subspace Projections

Boris Muzellec, Marco Cuturi|arXiv (Cornell University)|May 24, 2019

Natural Language Processing Techniques被引用数 12

ひとこと要約

本稿では、低次元部分空間への射影に関して最適となる「部分空間・デュア・輸送計画」を導入し、低次元解から全次元最適輸送マップを構築可能にする。2つの手法—Monge-Independent (MI) および Monge-Knothe (MK)—を提案し、ガウス測度に対して閉形式の解を得た。その結果、ドメイン適応タスクにおいて、標準的なBures距離よりも部分空間への射影上での性能が優れていることが示された。

ABSTRACT

Computing optimal transport (OT) between measures in high dimensions is doomed by the curse of dimensionality. A popular approach to avoid this curse is to project input measures on lower-dimensional subspaces (1D lines in the case of sliced Wasserstein distances), solve the OT problem between these reduced measures, and settle for the Wasserstein distance between these reductions, rather than that between the original measures. This approach is however difficult to extend to the case in which one wants to compute an OT map (a Monge map) between the original measures. Since computations are carried out on lower-dimensional projections, classical map estimation techniques can only produce maps operating in these reduced dimensions. We propose in this work two methods to extrapolate, from an transport map that is optimal on a subspace, one that is nearly optimal in the entire space. We prove that the best optimal transport plan that takes such "subspace detours" is a generalization of the Knothe-Rosenblatt transport. We show that these plans can be explicitly formulated when comparing Gaussian measures (between which the Wasserstein distance is commonly referred to as the Bures or Fréchet distance). We provide an algorithm to select optimal subspaces given pairs of Gaussian measures, and study scenarios in which that mediating subspace can be selected using prior information. We consider applications to semantic mediation between elliptic word embeddings and domain adaptation with Gaussian mixture models.

研究の動機と目的

• 標準的なOTが計算的に非現実的かつ不安定である高次元空間における最適輸送マップの計算という課題に対処する。
• 既存の部分空間OT手法が次元削減された空間でのマップしか得られないという制限を克服し、射影下でも最適なままとなる全空間マップを構築する。
• 指定された部分空間で最適となるが、元の高次元空間でも有効かつ構造的である輸送マップの学習フレームワークを構築する。
• 部分空間最適化された輸送マップを活用することで、ドメイン適応や意味的中間化の実用的応用を可能にする。一般化性と頑健性が向上する。
• 射影された測度間の輸送コストを最小化するアルゴリズムを用いて、情報量の多い部分空間を体系的かつ原理的選択する手法を提供する。

提案手法

• 部分空間 $E$ への射影に関して最適となる輸送計画のクラスを定義し、これを「部分空間最適」または「デュア」計画と呼ぶ。
• 2つの極値的構成を導入：部分空間を条件とするときの条件付き独立性を仮定するMonge-Independent (MI) 計画、および条件付き分布の最適カップリングを用いるMonge-Knothe (MK) マップ。
• ガウス測度間のMKおよびMIマップに対して閉形式の表現を導出。MKマップがブロック下三角行列構造を持つ線形変換に対応することを示した。
• 射影された測度間の輸送コストを最小化するアルゴリズムを提案。実験的共分散行列を用いて最適な部分空間 $E$ を選択する。
• ドメイン適応への応用として、ソースおよびターゲット分布をガウス・ミックス・モデル (GMM) としてモデル化。部分空間 $E$ 上で対ごとのMK距離を計算し、バーゲンティック射影を用いてラベル伝搬を実施。
• 弱収束および測度の分解を用いて、部分空間最適計画の構造を形式化。分解を部分空間 $E$ に対して行い、自由度を特徴づける。

実験結果

リサーチクエスチョン

• RQ1 射影された低次元部分空間上で最適となる全次元最適輸送マップを構築することは可能か？
• RQ2 Monge-Independent (MI) および Monge-Knothe (MK) マップの構造的性質は、部分空間射影からの一般化能力においてどのように異なるか？
• RQ3 部分空間射影制約下でガウス測度間の最適輸送マップの閉形式表現は何か？
• RQ4 輸送コストを最小化しつつ意味のある幾何的構造を保持するように、中間部分空間 $E$ を自動的に選択する方法は何か？
• RQ5 部分空間最適輸送マップは、標準的なOTやスライスドOTと比較して、ドメイン適応や語彙埋め込みの中間化といった下流タスクで性能向上をもたらすか？

主な発見

• Monge-Knothe (MK) マップは、部分空間への射影に関してガウス測度間の最適輸送を閉形式で提供する。これはブロック下三角行列構造を持つ線形マップとして表現される。
• ガウス測度に対して、MKマップはKnothe-Rosenblattマップに等しく、部分空間最適化輸送への一般化を実現する。
• Office Homeデータセットを用いたドメイン適応において、提案されたアルゴリズムで選択されたMKマップは、次元削減が行われても、射影された部分空間上での標準的Buresマップと同等またはそれ以上の1-NN正解率を達成した。
• MKマップの性能は部分空間の選択に極めて敏感である。最適な結果は、最小化アルゴリズムを用いて $E$ を選択した場合にのみ得られる。任意の部分空間では性能が劣る。
• 合成データにおいて、MKマップは共通部分空間を介して文脈的に異なるが幾何的に類似した意味的多義語埋め込みを適切に一致させ、意味的中間化を成功に回復した。
• 本手法は、高次元特徴のすべてが輸送コストに等しく寄与するわけではないことを示し、情報量の多い少数の部分空間に注目することで、下流タスクにおける安定性と性能が向上することを示した。