[論文レビュー] InfoOT: Information Maximizing Optimal Transport

Ching-Yao Chuang, Stefanie Jegelka+1 more|arXiv (Cornell University)|Oct 6, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

InfoOT は、幾何的距離を最小化すると同時に、ソースおよびターゲットドメイン間の相互情報量を最大化する情報理論的拡張を最適輸送に導入し、新しい条件付き投影法により、未学習サンプルへの一般化を可能にすることで、頑健で一般化性の高い手法を実現する。クラスタ構造の保持とクラス不均衡の処理を併せ持つことにより、ドメイン適応、クロスドメイン検索、シングルセルオミクスベンチマークにおいて、アライメント品質の向上を実現する。

ABSTRACT

Optimal transport aligns samples across distributions by minimizing the transportation cost between them, e.g., the geometric distances. Yet, it ignores coherence structure in the data such as clusters, does not handle outliers well, and cannot integrate new data points. To address these drawbacks, we propose InfoOT, an information-theoretic extension of optimal transport that maximizes the mutual information between domains while minimizing geometric distances. The resulting objective can still be formulated as a (generalized) optimal transport problem, and can be efficiently solved by projected gradient descent. This formulation yields a new projection method that is robust to outliers and generalizes to unseen samples. Empirically, InfoOT improves the quality of alignments across benchmarks in domain adaptation, cross-domain retrieval, and single-cell alignment.

研究の動機と目的

• 標準的な最適輸送がデータの整合性の維持、外れ値の処理、未学習サンプルへの一般化において抱える限界を解消すること。
• クラスタ構造などのグローバル構造的情報を、相互情報量の最大化によって最適輸送に統合すること。
• 未学習サンプルへの一般化を可能にするとともに、クラス不均衡や外れ値に対して頑健である新しい投影法を開発すること。
• 異なるメトリクス空間（例えば、異なるモodal または次元数を有するもの）における分布のアライメントを、最適輸送に拡張すること。

提案手法

• 核密度推定を用いて推定された相互情報量項と幾何的コストを組み合わせた一般化された最適輸送問題を定式化する。
• 輸送コストは、推定された同時密度と周辺密度の積の対数比として定義され、ソースおよびターゲットサンプル間の依存関係を捉える。
• 構造を保持しつつ、効率的な投影勾配降下法により最適化問題を解く。
• 未学習サンプルへの一般化を可能にする新しいマッピング手法として、条件付き投影を導入し、ソース条件付き密度上での重要度サンプリングによりターゲット予測を計算する。
• ドメイン内距離のみを活用するため、Gromov-Wasserstein と同様に、異なるメトリクス空間に存在する分布にも適用可能であり、情報理論的正則化を施す。
• 輸送計画におけるペアドサンプルから、同時分布および周辺分布をカーネル密度推定により推定する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量を最適輸送に効果的に統合することで、アライメント品質の向上とデータ構造の保持が可能になるか？
• RQ2 実世界のデータセットにおける外れ値やクラス不均衡に対して、最適輸送をどのようにして頑健にすることが可能になるか？
• RQ3 未学習サンプルに一般化可能な新しい投影法を開発できるか、ストリーミングまたは大規模応用に適しているか？
• RQ4 InfoOT は、異なるモダリティや次元数空間間の分布をどの程度効果的にアライメントできるか？

主な発見

• Office-Caltech データセットにおけるドメイン適応において、barycentric projection や標準的な OT ベースラインと比較して、特にクラス不均衡下で顕著な性能向上を示し、scGEM では 68.9% のラベル転送精度を達成した。
• ImageClef および Office-Caltech データセットにおいて、F-InfoOT はベースラインを上回るトップ-k 精度を達成し、教師なしクロスドメイン検索における優れた性能を示した。
• シングルセルアライメントにおいて、InfoOT は scGEM で 0.178 の FOSCTTM スコアおよび 98.8% のラベル転送精度を達成し、UnionCom、MMD-MA、SCOT (GW) を上回った。
• t-SNE 視覚化による結果から、InfoOT の条件付き投影法は、barycentric projection よりも外れ値およびクラス不均衡に対して優れた頑健性を示し、クラスタ構造を良好に保持した。
• InfoOT は、再び全OT問題を解かずに、新しいソースサンプルの類似度スコアリングを可能にする、効果的な未学習サンプル一般化を実現する。
• 本手法は、クロスドメイン検索、ドメイン適応、シングルセルマルチオミクスデータ統合といった多様な設定において、良好な一般化性能を示した。