[論文レビュー] Robust Covariate Shift Prediction with General Losses and Feature Views

Anqi Liu, Brian D. Ziebart|arXiv (Cornell University)|Dec 28, 2017

Neural Networks and Applications参考文献 15被引用数 7

ひとこと要約

本論文は、logloss最小化を越えて、非凸を含むさまざまな損失関数を扱える一般化されたロバストな共変量シフト分類フレームワークを提案する。特徴量のビューに基づく一般化仮定を組み込むことで、分布シフト下での予測性能を向上させる。不確実性と情報性のバランスを多視点特徴モデリングによって図ることで、特に高次元または歪んだデータ設定において優れたロバスト性と精度を達成する。

ABSTRACT

Covariate shift relaxes the widely-employed independent and identically distributed (IID) assumption by allowing different training and testing input distributions. Unfortunately, common methods for addressing covariate shift by trying to remove the bias between training and testing distributions using importance weighting often provide poor performance guarantees in theory and unreliable predictions with high variance in practice. Recently developed methods that construct a predictor that is inherently robust to the difficulties of learning under covariate shift are restricted to minimizing logloss and can be too conservative when faced with high-dimensional learning tasks. We address these limitations in two ways: by robustly minimizing various loss functions, including non-convex ones, under the testing distribution; and by separately shaping the influence of covariate shift according to different feature-based views of the relationship between input variables and example labels. These generalizations make robust covariate shift prediction applicable to more task scenarios. We demonstrate the benefits on classification under covariate shift tasks.

研究の動機と目的

• 高次元設定において過剰に保守的になる予測に制限される既存のロバスト共変量シフト手法の限界を解消すること。
• 顕著な共変量シフトと限られた訓練データ下で、重要度重み付け手法の一般化性能の低さと高い分散を克服すること。
• テスト分布下で一般損失関数（0-1損失や非凸損失を含む）のロバスト最小化を可能にする統一フレームワークの構築。
• 入力特徴間の構造的関係を活用することで、ロバスト性と予測の情報性のバランスを改善する特徴量ビューに基づく一般化仮定の導入。
• 合成データ、UCIベンチマークデータセット、および言語的多視点データセット（言語間分布シフトを伴う）において、フレームワークの有効性を実証すること。

提案手法

• テスト分布下での最悪ケース期待損失を最小化するロバスト最適化問題を定式化し、loglossにとどまらず任意の損失関数へ一般化する。
• 異なる特徴量サブセット（ビュー）を用いて共変量シフトを独立にモデリングする多視点特徴表現を導入し、各ビューごとに特化した一般化を可能にする。
• 双対最適化アプローチを用いて予測ラベル分布のパラメトリックな表現を導出することで、最悪ケースのロバスト性を保ちつつ計算の tractability（取り扱いやすさ）を維持する。
• 多視点設定における密度比推定の前段階で主成分分析（PCA）を適用し、高次元入力空間における安定性を向上させる。
• 推定された密度比を用いた重要度重み付けで訓練データを補正しつつ、最悪ケース損失最小化と組み合わせることでロバスト性を強化する。
• さまざまな損失関数（例：logloss、0-1損失）のプラグイン使用を可能にする柔軟な最適化フレームワークを実装し、単一視点および多視点設定の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ロバスト共変量シフト分類は、logloss最小化を越えて、非凸損失やその他の実用的損失関数にも一般化可能か？
• RQ2 訓練分布とテスト分布が異なる状況下で、特徴レベルの一般化仮定はロバスト性と予測性能をどのように向上させるか？
• RQ3 複数の特徴量ビューを組み込むことで、すべての特徴量を均一に扱う手法と比較して、ロバスト性と情報性のトレードオフがどのように改善されるか？
• RQ4 共変量シフト下での一般化性能に関して、提案された多視点ロバストフレームワークは、ロジスティック回帰、重要度重み付け、単一視点ロバスト分類器といった標準的手法と比較してどのように差をつけるか？
• RQ5 高次元または歪んだデータ設定において、多視点アプローチは、ベースラインのロバスト手法と比較して過剰な保守的予測を軽減し、予測精度を向上させるか？

主な発見

• 多視点ロバスト共変量シフト分類器（Robust-View）は、全UCIデータセットで最低のloglossを達成し、6回の実験のうち5回でRobust、LR、IW手法を上回った。
• 顕著な言語間分布シフトを示す言語データセットでは、Robust-ViewはLRと比較してloglossを最大8.5倍、IWと比較して8.1倍まで低減し、強力なロバスト性を示した。
• 標準的なRobust手法がほぼ一様な予測（loglossがランダムに近い）を出力する状況でも、Robust-Viewは情報的特徴量ビューを活用することで意味のある予測性能を維持した。
• 特に高次元設定において、特徴量ビュー間の構造的差を活用することで、Robust-Viewは単一視点のRobustベースラインを一貫して上回った。
• 過剰な保守的予測が標準的ロバスト手法で見られる場合でも、ロバスト性と情報性のバランスを改善し、訓練データが限られたり、入力空間が高次元化されたりする状況でも良好な性能を発揮した。
• 理論的分析により、フレームワークが最悪ケーステスト損失に対して適切なバインドを提供することを確認し、共変量シフト下での一般化保証を裏付けた。