[論文レビュー] Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric

Ruidi Chen, Ioannis Ch. Paschalidis|arXiv (Cornell University)|Jun 10, 2020

Advanced Statistical Methods and Models参考文献 19被引用数 4

ひとこと要約

本稿は、共変量および応答変数の両方における外れ値に対処するため、Wasserstein距離を用いた分布的ロバスト最適化フレームワークを提案する。min-max Wasserstein DRO問題を再定式化することで、係数行列に対する行列ノルム正則化子を備えた正則化学習モデルを導出し、ロバスト性と正則化を結びつける。多変量回帰では予測誤差が7–37%低減され、多クラスロジスティック回帰では最小摂動距離（MPD）を用いたロバスト性が100%向上し、ベースラインと比較して優れた性能を示す。

ABSTRACT

We develop Distributionally Robust Optimization (DRO) formulations for Multivariate Linear Regression (MLR) and Multiclass Logistic Regression (MLG) when both the covariates and responses/labels may be contaminated by outliers. The DRO framework uses a probabilistic ambiguity set defined as a ball of distributions that are close to the empirical distribution of the training set in the sense of the Wasserstein metric. We relax the DRO formulation into a regularized learning problem whose regularizer is a norm of the coefficient matrix. We establish out-of-sample performance guarantees for the solutions to our model, offering insights on the role of the regularizer in controlling the prediction error. Experimental results show that our approach improves the predictive error by 7% -- 37% for MLR, and a metric of robustness by 100% for MLG.

研究の動機と目的

• 共変量および応答変数の両方における外れ値に対して耐性を持つ多変量学習フレームワークの構築を目的とする。
• 単変量から多変量設定へと、分布的ロバスト最適化（DRO）を拡張すること、特に多変量線形回帰（MLR）および多クラスロジスティック回帰（MLG）を対象とする。
• Wasserstein距離を用いて、多変量状況におけるロバスト性と正則化の理論的・計算的関係を確立すること。
• 分布シフトおよび汚染が生じる状況下でも、提案されたロバスト推定器の外挿性能に対する保証を提供すること。
• 共変量シフトおよび外れ値を含むデータセットにおいて、標準的および正則化ベースラインと比較して優れた予測精度とロバスト性を実証的に示すこと。

提案手法

• 訓練データの経験分布を中心とするWasserstein不確実性集合上での最悪の期待損失を最小化するmin-max分布的ロバスト最適化問題を定式化する。
• 双対性を活用してWasserstein DRO問題を正則化された経験的損失最小化問題に再定式化し、データ距離メトリックの双対ノルムから導かれる行列ノルム正則化子を獲得する。
• MLRおよびMLGにおける係数行列に対する、複数の応答間の幾何的構造および相関関係を捉える新しい行列ノルム正則化子を導出する。
• Lipschitz損失を伴うMLRおよびlog-lossを伴うMLGにこの緩和を適用し、最適化を容易にするとともに、データと係数の関係のプライマル・デュアル解釈を可能にする。
• Wasserstein距離を用いて確率的不確実性集合を定義し、分布シフトおよび汚染を効果的に捉える。特に共変量シフトに対して優れた効果を示す。
• 単純なスーパーポジションを避けるために、独立した単変量モデル化ではなく、多変量応答の統合的統合を実施する。

実験結果

リサーチクエスチョン

• RQ1 分布的ロバスト最適化は、複数の相関のある応答を有する多変量回帰および分類問題へどのように拡張可能か？
• RQ2 Wasserstein距離に基づく多変量学習におけるロバスト同等問題の構造は何か？ これは単変量DROの定式化とどのように異なるか？
• RQ3 緩和問題における得られた正則化子はロバスト性とどのように関係し、係数行列空間における幾何的解釈は何か？
• RQ4 提案フレームワークは、データ汚染および共変量シフト下でも、標準的および正則化ベースラインと比較して、より優れた外挿性能とロバスト性を達成できるか？
• RQ5 提案手法の予測精度および敵対的ロバスト性に及ぼす実証的影響は何か？特に最小摂動距離（MPD）の観点から評価せよ。

主な発見

• 提案されたMLRモデルは、外れ値汚染下で標準的多変量回帰と比較して予測誤差が7%～37%低減される。
• 多クラスロジスティック回帰では、MLG-SRおよびMLG-1Sモデルが最小摂動距離（MPD）で100%の向上を達成し、入力摂動に対して著しく高いロバスト性を示す。
• MLG-1SモデルはPCC MLGと比較して、正しく分類された割合（CCR）で12%向上、log-lossで13%向上、CVaRで16%向上を達成しており、予測子相関を明示的にモデル化していないにもかかわらず優れた性能を示す。
• 正則化子を分布シフト下での最悪のリスクと結びつけることで、理論的外挿性能保証を提供する。
• Wasserstein DROフレームワークから導かれる行列ノルム正則化子は、多変量依存関係を効果的に捉え、応答相関を明示的にモデル化しなくても効率的な最適化を可能にする。
• 実証的結果から、応答または予測子相関を明示的にモデル化する統計的手法と比較して、最適化に基づくアプローチが、特に共変量シフトおよびデータ汚染下で優れた性能を示すことが確認された。