[論文レビュー] Making transport more robust and interpretable by moving data through a small number of anchor points

Chi-Heng Lin, Mehdi Azabou+1 more|arXiv (Cornell University)|Dec 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 4

ひとこと要約

本稿では、分離されたソースおよびターゲットのアンカを学習することで、データがこれらのハブを経由して流れることを可能にする、構造的最適輸送手法である潜在的最適輸送（LOT）を提案する。LOTは輸送ランクを正則化し、ノイズやサンプリングのばらつきに対する感受性を低減し、異なる基本的な幾何構造を持つデータセット間の構造的整合性を向上させる。

ABSTRACT

Optimal transport (OT) is a widely used technique for distribution alignment, with applications throughout the machine learning, graphics, and vision communities. Without any additional structural assumptions on trans-port, however, OT can be fragile to outliers or noise, especially in high dimensions. Here, we introduce a new form of structured OT that simultaneously learns low-dimensional structure in data while leveraging this structure to solve the alignment task. Compared with OT, the resulting transport plan has better structural interpretability, highlighting the connections between individual data points and local geometry, and is more robust to noise and sampling. We apply the method to synthetic as well as real datasets, where we show that our method can facilitate alignment in noisy settings and can be used to both correct and interpret domain shift.

研究の動機と目的

• 高次元設定において特に顕著なノイズや外れ値に対して脆弱である標準的最適輸送（OT）の課題に対処すること。
• ソースとターゲット間で共有されるアンカに依存する従来の構造的OT手法の限界を克服すること。これにより、ドメインシフトや異なるデータ構造を捉えることが困難になる可能性がある。
• 低次元のデータ構造を同時に学習し、それを輸送を正則化する根拠とする手法を開発することで、ロバスト性と解釈可能性の両方を向上させること。
• 潜在的アンカ空間を通じて個々のデータポイントと局所的なデータ幾何構造との関連を明確にすることで、より解釈可能な輸送計画を可能にすること。
• 次元の呪いに起因するサンプリング要件を緩和する理論的根拠を持つOTの緩和を提供すること。

提案手法

• 輸送計画を3つのコンポonentに分解する：(1) ソースポイントからソースアンカへ、(2) ソースアンカからターゲットアンカへ、(3) ターゲットアンカからターゲットポイントへ。
• ソース分布とターゲット分布それぞれに別個のアンカ集合を学習し、各ドメイン内で異なる構造的表現を可能にする。
• ソースアンカとターゲットアンカ間の潜在的空間の整合性を用いて、ハイレベルな構造的類似性をモデル化し、ドメイン間をまたがるロバストな輸送を実現する。
• アンカに基づく因子分解を用いて低ランク制約を課した正則化最適輸送問題として目的関数を定式化する。
• 計算効率と数値的安定性を確保するため、Sinkhorn反復を用いたエントロピー正則化を採用する。
• 重心に基づく再構成を用いて、3段階の変換（ソース→アンカ、アンカ→アンカ、アンカ→ターゲット）により輸送マップを推定する。

実験結果

リサーチクエスチョン

• RQ1 ソースおよびターゲット分布に対して別個のアンカを学習することで、高次元データにおけるノイズやサンプリングのばらつきに対する最適輸送のロバスト性が向上するか？
• RQ2 別個のアンカ集合を許容することで、得られる輸送計画の解釈可能性と構造的忠実度はどのように変化するか？
• RQ3 標準的OTと比較して、LOTは高次元ノイズや外れ値に対する感受性をどの程度低減するか？
• RQ4 LOTのアンカベースの因子分解は、サンプリング効率の向上や次元の呪いの緩和という点で統計的利点を提供するか？
• RQ5 ドメインシフトや異なる内因的構造（例：コンピュータビジョン分野のドメイン適応タスク）を持つデータセットを、LOTは効果的に整合させることができるか？

主な発見

• 合成GMMとMNIST-USPSのドメイン適応タスクにおいて、LOTは高次元データにおけるノイズやサンプリングのばらつきに対するロバスト性を顕著に向上させた。
• アンカベースの因子分解により、輸送計画のランクが低減され、ノイズ除去機構として機能し、解が安定化する。
• ソースとターゲットに別個のアンカを使用することで、ドメインシフトや異なる局所的幾何構造をよりよく捉え、より解釈可能な輸送マップが得られる。
• MNIST-USPSにおけるドメイン適応タスクで、標準的OTおよびファクタードカップリング（FC）ベースラインを上回る最先端の性能を達成した。
• アンカ数はモデル選択（例：シルエットスコアやエルボー法）により選定可能であり、過剰なアンカ数であっても性能への影響が最小限であるため、ハイパーパrameter選択に対してロバストであることが示された。
• 理論的分析と実験的検証により、LOTは次元の呪いに起因するサンプリング要件を克服する統計的緩和を提供する。