[論文レビュー] A Distribution-Free Test of Covariate Shift Using Conformal Prediction

Xiaoyu Hu, Jing Lei|arXiv (Cornell University)|Oct 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 11

ひとこと要約

本稿では、コンフォーマル予測を活用し、新しい適合性スコアを用いて一般条件下で妥当かつ強力な仮説検定を可能にする、非パラメトリックで分布フリーな共変量シフト検出手法を提案する。この手法は高次元・大規模データに対しても効果的であり、既存の分類アルゴリズムとシームレスに統合可能である。

ABSTRACT

Covariate shift is a common and important assumption in transfer learning and domain adaptation to treat the distributional difference between the training and testing data. We propose a nonparametric test of covariate shift using the conformal prediction framework. The construction of our test statistic combines recent developments in conformal prediction with a novel choice of conformity score, resulting in a valid and powerful test statistic under very general settings. To our knowledge, this is the first successful attempt of using conformal prediction for testing statistical hypotheses. Our method is suitable for modern machine learning scenarios where the data has high dimensionality and large sample sizes, and can be effectively combined with existing classification algorithms to find good conformity score functions. The performance of the proposed method is demonstrated in synthetic and real data examples.

研究の動機と目的

• 転移学習やドメイン適応における共変量シフトの検出という重要な課題に、特定のデータ分布の仮定をせずに取り組むこと。
• 訓練データとテストデータの分布差を統計的に妥当かつ強力に検出するためのテストを開発すること。
• コンフォーマル予測フレームワークを仮説検定に応用するという、これまで実現されていなかった新しい応用を拡張すること。
• 既存の分類モデルと統合し、高次元データを扱えるようにすることで、現代の機械学習における実用的導入を可能にすること。

提案手法

• 最近のコンフォーマル予測の進展に基づいて導出された新しい適合性スコアを用いて、検定統計量を構築する。
• 最小限の仮定のもとで有限標本における妥当性を保証するため、コンフォーマル予測フレームワークを活用する。
• 適合性スコアは任意のブラックボックス分類器と互換性を持つように設計されており、現代の学習アルゴリズムとの統合を可能にする。
• 非常に一般的な分布的設定下で動作するため、モデルの誤指定に対してもロバストである。
• 非パラメトリックであり、密度推定やパラメトリック仮定を必要としない。

実験結果

リサーチクエスチョン

• RQ1 コンフォーマル予測は、共変量シフトの検出に特に適した統計的仮説検定に再利用可能だろうか？
• RQ2 分布の仮定を一切せずに、妥当かつ強力な非パラメトリックな共変量シフト検定を構築することは可能だろうか？
• RQ3 提案手法は高次元および大標本の機械学習環境において、どの程度の性能を示すだろうか？
• RQ4 既存の分類アルゴリズムと統合可能で、実用的価値を維持できるだろうか？

主な発見

• 提案手法は最小限の仮定のもとで有限標本における妥当性を達成しており、小規模または複雑なデータセットに対しても信頼性がある。
• 実験では、合成データおよび実世界のデータ例の両方において、共変量シフトの検出において強い実証的パワーを示した。
• 既存の分類器との統合により、モデル性能に影響を与えることなく、効果的な適合性スコアの推定が可能になった。
• スケーラブルであり、高次元データに適しているため、従来のパラメトリック検定の主な限界を克服した。