[論文レビュー] Partial Optimal Transport with Applications on Positive-Unlabeled Learning

Laëtitia Chapel, Mokhtar Z. Alaya+1 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Neural Network Applications参考文献 39被引用数 10

ひとこと要約

本稿では、質量が不均衡な状況を扱うためにダミー点を導入することで、部分的 Wasserstein および Gromov-Wasserstein 最適輸送の正確なアルゴリズムを提案する。これにより、エントロープ的正則化を用いずにスパースで正確な解を得られる。この手法により、異なるドメイン間でも、ラベルなしデータ内に正例を特定できる。ベンチマークデータセットにおいて、最先端の性能を達成する。

ABSTRACT

Classical optimal transport problem seeks a transportation map that preserves the total mass betwenn two probability distributions, requiring their mass to be the same. This may be too restrictive in certain applications such as color or shape matching, since the distributions may have arbitrary masses and/or that only a fraction of the total mass has to be transported. Several algorithms have been devised for computing partial Wasserstein metrics that rely on an entropic regularization, but when it comes with exact solutions, almost no partial formulation of neither Wasserstein nor Gromov-Wasserstein are available yet. This precludes from working with distributions that do not lie in the same metric space or when invariance to rotation or translation is needed. In this paper, we address the partial Wasserstein and Gromov-Wasserstein problems and propose exact algorithms to solve them. We showcase the new formulation in a positive-unlabeled (PU) learning application. To the best of our knowledge, this is the first application of optimal transport in this context and we first highlight that partial Wasserstein-based metrics prove effective in usual PU learning settings. We then demonstrate that partial Gromov-Wasserstein metrics is efficient in scenario where point clouds come from different domains or have different features.

研究の動機と目的

• 古典的最適輸送がソース分布とターゲット分布の合計質量が等しいことを要求するという制限を解消すること。
• 部分 Wasserstein および Gromov-Wasserstein 問題に対する正確で正則化を施さない解法の開発。
• 異なるメトリクス空間に存在する分布間の異種設定においても、正例-負例学習を可能にすること。
• ドメインシフトや特徴量の相違がある状況において、部分的 Gromov-Wasserstein が効果的に機能することの実証。
• 解釈性と PU 学習における性能を向上させるスパースで正確な輸送計画の提供。

提案手法

• マージナルを拡張するためにダミー点を導入し、部分的 OT 問題を正確な解を有する標準的な Wasserstein 問題に変換する。
• 部分的 Gromov-Wasserstein 問題を解くために、反復的な部分的 W 計算に依存する Frank-Wolfe アルゴリズムを用いる。
• 非凸な GW 問題の収束を改善するために、Wasserstein バリオセントラムに基づく初期化を採用する。
• 輸送計画にグループ制約を適用し、全ラベルなし点をダミー点に割り当てることで、明確な負例の特定を可能にする。
• 輸送計画のスパース構造を活用することで、エントロープ的正則化を回避し、正確性を維持する。
• 輸送行列を用いて、ラベルなし点のうち正例クラスに最も類似する点を特定することで、PU 学習におけるラベル付与を実施する。

実験結果

リサーチクエスチョン

• RQ1 エントロープ的正則化を用いずに、正確な部分的最適輸送を定式化・解法可能か？
• RQ2 既存手法と比較して、部分的 Wasserstein は正例-負例学習においてどのように性能を発揮するか？
• RQ3 異なるドメインや異なる特徴量を持つ分布を、部分的 Gromov-Wasserstein が効果的に処理できるか？
• RQ4 ダミー点とグループ制約の使用が、PU 学習における負例の同定をどのように向上させるか？
• RQ5 多様なデータセットやドメインシフトの下で、提案手法は精度と頑健性においてどのように比較されるか？

主な発見

• 提案手法である正確な部分的-W および部分的-GW は、すべてのデータセットで標準偏差が 0.021 未満の状態で、PU 学習において最先端の精度を達成した。
• Mushrooms データセットでは、標準偏差 0.008 で 51.8% の精度を達成し、ベースライン手法を上回った。
• USPS データセットでは、標準偏差 0.004 で 16.7% の精度を達成し、高い安定性を示した。
• ドメインシフトが生じる状況（例：surf c → surf d）において、部分的-GW 法は顕著に優れた性能を示し、標準偏差 0.020、精度 0.013 を達成した。
• グループ制約の導入により、負例の明確な分離が可能となった。輸送行列において、ラベルなし正例がダミー点に完全に割り当てられていることが確認された。
• MNIST、Connect-4、Spambase といった多様なデータセットにおいて、一貫した性能と低い分散を示し、頑健性を示した。