[論文レビュー] Hierarchical Optimal Transport for Robust Multi-View Learning

Dixin Luo, Hongteng Xu+1 more|arXiv (Cornell University)|Jun 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 4

ひとこと要約

本稿では、サンプルの対応関係や各ビュー間の同一潜在分布に依存しない、ロバストなマルチビュー学習手法である階層的最適輸送（HOT）を提案する。スライスされたウォッシャーティン距離を基底距離として用い、最適輸送行列を学習することで、ビュー内のクラスタ構造を明示的にモデル化する。この手法により、合成データおよび実世界のデータセットにおいて、半教師ありおよび教師なし設定の両方で性能が向上する。

ABSTRACT

Traditional multi-view learning methods often rely on two assumptions: ($i$) the samples in different views are well-aligned, and ($ii$) their representations in latent space obey the same distribution. Unfortunately, these two assumptions may be questionable in practice, which limits the application of multi-view learning. In this work, we propose a hierarchical optimal transport (HOT) method to mitigate the dependency on these two assumptions. Given unaligned multi-view data, the HOT method penalizes the sliced Wasserstein distance between the distributions of different views. These sliced Wasserstein distances are used as the ground distance to calculate the entropic optimal transport across different views, which explicitly indicates the clustering structure of the views. The HOT method is applicable to both unsupervised and semi-supervised learning, and experimental results show that it performs robustly on both synthetic and real-world tasks.

研究の動機と目的

• サンプルが良好にアライメントされていること、および各ビュー間で同一の潜在分布を仮定するという、従来のマルチビュー学習手法の制限を解消すること。
• 特に医療や金融などプライバシーが重要な分野において、アライメントされていない、分散型のマルチビューデータから意味のある表現を学習できる手法を開発すること。
• 最適輸送を用いてビューのクラスタ構造を明示的にモデル化することで、表現学習と一般化性能の向上を図ること。
• すべてのビューにラベルデータが存在しない状況でも、効果的な半教師ありおよび教師なしマルチビュー学習を可能にすること。
• 最適輸送を用いてビュー単位のクラスタリングを学習することで、共正則化手法のより解釈可能でロバストな代替手段を提供すること。

提案手法

• 本手法は、異なるビューの潜在表現間の分布的乖離を測定するためにスライスされたウォッシャーティン距離（SWD）を用い、サンプルの対応関係を必要としない。
• SWDを基底距離として用い、ビュー間で正則化された最適輸送を計算することで、ペアワイズのビュー類似度を捉える階層的最適輸送（HOT）モデルを構築する。
• SWDには各ペアのビューに対して学習可能な重みを導入し、これがビュー間の最適輸送計画として解釈され、クラスタ構造の発見が可能になる。
• グローバルなリファレンス表現を組み込むことで、類似または冗長な情報をもつビューのグループ化を明示的に学習し、最適輸送行列がビューのクラスタを反映できるようにする。
• ミニバッチ確率的勾配降下法とSinkhornアルゴリズムを組み合わせることで、HOTモデルの効率的最適化を実現する。
• 本フレームワークは、半教師ありおよび教師なし学習を両方サポートし、再構成損失による正則化を強化するためのオプションのオートエンコーダデコーダを備える。

実験結果

リサーチクエスチョン

• RQ1 スライスされたウォッシャーティン距離に基づく最適輸送は、サンプルの対応関係を要件としないマルチビュー学習を効果的に正則化できるか？
• RQ2 最適輸送によるビュー単位のクラスタリングは、弱い仮定のもとでマルチビュー学習の性能を向上させるか？
• RQ3 HOTモデルは、実世界および合成データの半教師ありおよび教師なし設定において、ベースライン手法と比較してどのように性能を発揮するか？
• RQ4 学習された最適輸送行列は意味のあるビューのグループ化を明らかにできるか？また、それらのグループ化は情報の冗長性という観点から解釈可能か？
• RQ5 HOTモデルは、各ビューに同一の潜在分布を強制するという過剰正則化をどの程度軽減できるか？

主な発見

• 提案されたHOTモデルは、複数のデータセットで強力なベースラインを一貫して上回り、半教師ありおよび教師なし設定の両方で分類精度が向上した。
• 教師なし特徴抽出の文脈では、HOTによる明示的なビュークラスタリングを用いる手法は高い精度を維持するが、ペアワイズ比較に依存する手法は著しく性能を落とす。
• HOTが学習する最適輸送行列は解釈可能なクラスタ構造を明らかにする：例えばCaltech7では、GaborとCENTISTが1つのクラスタを形成し、WMとGISTが別のクラスタを形成するが、HOGとLBPは複数のクラスタの混合である。
• 同じクラスタに属するビュー（例：GaborまたはCENTRIST）を削除しても性能低下は最小限に抑えられ、それらのビューが冗長な情報を保持していることを裏付けた。
• 一方、クラスタ内で一意なビュー（例：MOR）を削除すると、性能が著しく低下する。これは、モデルが構造的に異なるビューを正しく識別できることを検証した。
• オートエンコーダの再構成損失を組み込むことで、分類精度がさらに向上し、HOTフレームワークにおける多目的正則化の利点を示した。