[論文レビュー] The Multimarginal Optimal Transport Formulation of Adversarial Multiclass Classification

Nicolás García Trillos, Matt Jacobs+1 more|arXiv (Cornell University)|Apr 27, 2022

Machine Learning and Algorithms被引用数 7

ひとこと要約

この論文は、敵対的多クラス分類とマルチマージナル最適輸送（MOT）問題の間で、新たな同等性を確立し、最適輸送ソルバーを用いたロバストな分類器の訓練を可能にする一般化されたバーチャルセンター形式を明らかにした。主な貢献は、敵対的学習と最適輸送を結びつける理論的かつ計算的なフレームワークを提供することであり、プライマル・デュアルOTアルゴリズムを通じて最適なロバスト分類器および敵対的戦略の回復を可能にする。

ABSTRACT

We study a family of adversarial multiclass classification problems and provide equivalent reformulations in terms of: 1) a family of generalized barycenter problems introduced in the paper and 2) a family of multimarginal optimal transport problems where the number of marginals is equal to the number of classes in the original classification problem. These new theoretical results reveal a rich geometric structure of adversarial learning problems in multiclass classification and extend recent results restricted to the binary classification setting. A direct computational implication of our results is that by solving either the barycenter problem and its dual, or the MOT problem and its dual, we can recover the optimal robust classification rule and the optimal adversarial strategy for the original adversarial problem. Examples with synthetic and real data illustrate our results.

研究の動機と目的

• 敵対的多クラス分類と最適輸送を結びつける理論的フレームワークの構築を目的とする。
• 敵対的ロバスト性を一般化されたワサーラインバーチャルセンター問題として再定式化することを目的とする。
• 敵対的分類問題とマルチマージナル最適輸送（MOT）問題の間の同等性を確立することを目的とする。
• プライマル・デュアルOTアルゴリズムを用いて最適なロバスト分類器および敵対的戦略の計算を可能とすることを目的とする。
• スケーラブルなロバスト学習のための幾何学的かつ計算的基盤を提供することを目的とする。

提案手法

• 敵対的多クラス分類問題を、非確率測度および輸送コストを含む一般化されたバーチャルセンター問題に再定式化する。
• 敵対的問題とK個の周辺分布（Kはクラス数）を持つマルチマージナル最適輸送（MOT）問題との同等性を確立する。
• クラス間の敵対的摂動構造を符号化するコスト関数 c(z₁,…,zₖ) を定義する。
• MOT問題の解およびその双対問題の解から、明示的な結合および輸送写像を用いて元の敵対的問題の解を構築する。
• 既存のプライマル・デュアルOTアルゴリズムを活用し、同時に最適なロバスト分類器および敵対的摂動を計算する。
• 一般化されたバーチャルセンター形式を用いて、実際の問題で有効な問題サイズを削減するための幾何的構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的多クラス分類問題は、マルチマージナル最適輸送問題として再定式化可能か？
• RQ2 一般化されたバーチャルセンター問題は、敵対的学習の文脈で、古典的なワサーラインバーチャルセンターをどのように拡張するか？
• RQ3 敵対的問題とそのMOT再定式化との間の計算的関係は何か？
• RQ4 プライマル・デュアルOTソルバーを用いて、最適なロバスト分類器および敵対的戦略を回復できるか？
• RQ5 一般化されたバーチャルセンター形式は、敵対的設定におけるデータ分布の幾何的洞察をどのように明らかにするか？

主な発見

• 敵対的多クラス分類問題は、クラス数Kを用いてK個の周辺分布を持つマルチマージナル最適輸送問題と数学的に同等である。
• この問題は、共通の測度λに対する非確率測度および輸送コストを含む一般化されたバーチャルセンター問題としても同等である。
• MOT問題およびその双対問題の解から、最適なロバスト分類器および最適な敵対的戦略の両方を回復できる。
• 同等性のおかげで、標準的なプライマル・デュアル最適輸送ソルバーを直接用いてロバスト分類器を計算できる。
• 一般化されたバーチャルセンター形式は、特に特定のスケールで少数のクラスしか相互作用しない場合に、敵対的学習における豊かな幾何的構造を明らかにする。
• このフレームワークは、ロバスト性のベンチマークを提供し、分類器の族が制限されていても、敵対的例の生成手法を提供する。