[論文レビュー] Consistent Robust Adversarial Prediction for General Multiclass Classification

Rizal Fathony, Kaiser Asif+6 more|arXiv (Cornell University)|Dec 18, 2018

Adversarial Robustness in Machine Learning参考文献 45被引用数 4

ひとこと要約

本論文は、一般多クラス分類の非凸的・非連続的多クラス損失指標の最適化を、敵対的サロゲート損失を介して凸双対問題として定式化することにより、頑健な敵対的予測フレームワークを提案する。この手法はフィッシャー整合性を保証し、カーネルベースの特徴表現を可能にし、複数のデータセットで競争力ある性能を達成しており、線形および非線形設定の両方でベースラインを上回る性能を示す。

ABSTRACT

We propose a robust adversarial prediction framework for general multiclass classification. Our method seeks predictive distributions that robustly optimize non-convex and non-continuous multiclass loss metrics against the worst-case conditional label distributions (the adversarial distributions) that (approximately) match the statistics of the training data. Although the optimized loss metrics are non-convex and non-continuous, the dual formulation of the framework is a convex optimization problem that can be recast as a risk minimization model with a prescribed convex surrogate loss we call the adversarial surrogate loss. We show that the adversarial surrogate losses fill an existing gap in surrogate loss construction for general multiclass classification problems, by simultaneously aligning better with the original multiclass loss, guaranteeing Fisher consistency, enabling a way to incorporate rich feature spaces via the kernel trick, and providing competitive performance in practice.

研究の動機と目的

• 一般多クラス分類における理論的裏付けが強く、整合性を持つサロゲート損失の欠如、特にゼロオブジェクト損失や順序損失のような非凸的・非連続的損失指標に対する課題に対処すること。
• 訓練データの統計と一致する最悪の条件付きラベル分布に対して最適化する、分布的頑健性を保証する予測フレームワークの開発。
• 元の損失構造を保持しながらフィッシャー整合性と計算効率を保証する、新たな凸サロゲート損失（敵対的サロゲート損失）の構築。
• 通常は困難であるが、多クラス設定においてもカーネルトリックを用いて豊かな特徴空間の利用を可能にすること。
• 多様なデータセットにおける不確実性損失と分類精度の観点から、既存のベースラインに対する本手法の優位性を実験的に検証すること。

提案手法

• フレームワークは、訓練データのモーメントと概ね一致する敵対的ラベル分布の上でのロバスト最適化問題として多クラス予測を定式化し、分布的頑健性を確保する。
• 敵対的問題の双対定式化を導出し、新規の凸サロゲート損失（敵対的サロゲート損失と呼ぶ）を用いた凸な経験的リスク最小化問題に還元する。
• 敵対的サロゲート損失は、元の多クラス損失指標と密接に一致するように構築され、フィッシャー整合性を保証するとともに、カーネルベースの特徴マッピングを可能にする。
• 効率的なアルゴリズムを提案：絶対損失を用いた順序分類では線形時間、ゼロオブジェクト損失では準線形時間、一般の損失指標では線形計画法。
• 拒否しきい値を学習することで、不確実な予測を避ける分類に適した能力を備える。
• カーネルトリックを用いて非線形設定に拡張し、計算効率と理論的保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 非凸的・非連続的多クラス損失指標を最適化しつつ理論的整合性を保証する、頑健な敵対的予測フレームワークを設計できるか？
• RQ2 提案された敵対的サロゲート損失は、特にゼロオブジェクト損失や順序損失指標に対して、多クラス分類においてフィッシャー整合性を達成するか？
• RQ3 敵対的サロゲート損失は、カーネルトリックを用いて豊かな特徴空間に効率的に拡張可能か？
• RQ4 多様な多クラスデータセットにおいて、分類精度と拒否性能の観点から、既存のベースラインと比較して本手法はどのように差をつけるか？
• RQ5 拒否機能を組み込むことで、ノイズが多いまたは複雑な分類タスクにおける頑健性と性能が向上するか？

主な発見

• 敵対的サロゲート損失は、多クラス分類においてフィッシャー整合性を保証し、サロゲート損失構築における長年の理論的ギャップを埋める。
• 複数のUCIデータセットにおいて、本手法は競争力ある性能を達成し、全体の拒否損失と統計的に同等の最良結果の数において、SVM-OVAおよびSVM-CSを上回る。
• 線形カーネル実験では、大多数のデータセットで最良またはほぼ最良の性能を達成しており、いくつかのケースではSVM-CSをわずかに上回る。
• ガウスカーネルの導入により、AL^abstainおよびSVM-CSの両方の性能が著しく向上し、すべてのデータセットでAL^abstainが優位性を維持した。
• ノイズの高いデータセット（例：redwine）では、本手法のモデルがより多くの拒否予測を生成しており、不確実性に敏感であり、挑戦的な状況下での信頼性の向上を示している。
• 敵対的サロゲート損失の計算コストは低く、ベースラインと同等であり、線形または準線形時間複雑度を達成する効率的なアルゴリズムにより実現されている。