[論文レビュー] Stable Prediction with Model Misspecification and Agnostic Distribution Shift

Kun Kuang, Ruoxuan Xiong+3 more|arXiv (Cornell University)|Jan 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 5

ひとこと要約

本稿では、モデルの不適合およびアグノスティックな分布シフト下でも、パラメータ推定の精度と予測の安定性を向上させるために、変数の非相関化と重み付き回帰を同時に最適化する新規アルゴリズムであるデコルレーテッド・ウェイティング・リグレッション（DWR）を提案する。DWRは、訓練データを再重み付けすることで特徴量の非相関化を実現し、分布シフトが大きい状況下でも、合成データおよび実世界の大気質予測タスクにおいて、ベースラインを著しく上回る安定性を達成する。

ABSTRACT

For many machine learning algorithms, two main assumptions are required to guarantee performance. One is that the test data are drawn from the same distribution as the training data, and the other is that the model is correctly specified. In real applications, however, we often have little prior knowledge on the test data and on the underlying true model. Under model misspecification, agnostic distribution shift between training and test data leads to inaccuracy of parameter estimation and instability of prediction across unknown test data. To address these problems, we propose a novel Decorrelated Weighting Regression (DWR) algorithm which jointly optimizes a variable decorrelation regularizer and a weighted regression model. The variable decorrelation regularizer estimates a weight for each sample such that variables are decorrelated on the weighted training data. Then, these weights are used in the weighted regression to improve the accuracy of estimation on the effect of each variable, thus help to improve the stability of prediction across unknown test data. Extensive experiments clearly demonstrate that our DWR algorithm can significantly improve the accuracy of parameter estimation and stability of prediction with model misspecification and agnostic distribution shift.

研究の動機と目的

• 訓練データとテストデータの分布が異なる場合やモデルが不適合である場合に生じる予測の不安定性に対処すること。
• テストデータの事前知識が得られない状況下でも、未知のテスト環境において安定したパラメータ推定と予測性能を保証する手法を開発すること。
• 因果的に結果に関連する安定した特徴量と、相関は存在するが因果的でない不安定な特徴量が共存する状況を扱うこと。ここで、不安定な特徴量の相関関係は環境によって変化する。
• 分布シフトによって生じる誤った相関関係を排除するために、非相関化と回帰を統合的に最適化するフレームワークを提案すること。
• 医療や環境科学など、地域や機関ごとにデータ分布が異なる実世界の設定において、信頼性の高い予測を可能にすること。

提案手法

• 特徴量が重み付けされた訓練データにおいて非相関になるようにするための変数非相関化正則化項を導入し、そのサンプル重みを推定する。
• 推定された重みを重み付き回帰モデルに適用することで、各特徴量の真の効果の推定を改善し、省略された非線形項や交互作用項によるバイアスを低減する。
• 2段階の学習手順を用いて、非相関化正則化項と重み付き回帰の目的関数を同時に最適化する。
• 予測誤差を最小化するとともに、重み付けされた訓練データにおける予測子間の非相関性を強制する最適化問題を定式化する。
• 制御された分布シフトを伴う合成データおよび米国10州の実世界の大気質データに本手法を適用し、安定性を評価する。
• 訓練環境とテスト環境間の分布シフトを定量化する指標として、共変量の平均差（分布距離）を用いる。

実験結果

リサーチクエスチョン

• RQ1 モデルの不適合と分布シフトが共に存在する状況下でも、未知のテスト環境において安定した予測が達成可能か？
• RQ2 提案手法DWRは、アグノスティックな分布シフトおよびモデルの不適合下で、どのようにパラメータ推定の精度を向上させるか？
• RQ3 DWRは、多様なデータ分布にわたる予測の安定性において、OLS や Lasso といった標準ベースラインをどの程度上回るか？
• RQ4 ハイパーパrameter λ₂ の選択が、DWRにおける推定精度と安定性のトレードオフにどのように影響するか？
• RQ5 分布シフトが大きい場合でも、DWRは優れた性能を維持するか。特に、小さなシフトではわずかに性能が劣る場合でも同様か？

主な発見

• DWRは、特に分布シフトが大きい状況下で、未知のテスト環境における予測の安定性を顕著に向上させ、安定性誤差指標においてOLSやLassoを上回る。
• 米国10州の大気質実データでは、DWRの性能は訓練集合とテスト集合の分布距離が大きくなるにつれて、ベースラインを上回る。
• 分布距離が小さい場合には、DWRの性能はわずかにベースラインより劣る（導入された分散の影響）。しかし、分布シフトが大きくなると急速に性能が向上する。
• DWRの平均誤差は、全10州のテスト環境において一貫して低く保たれ、異なる分布下でも推定精度の高い安定性を示している。
• DWRの安定性誤差は、すべてのベースラインを下回り続け、環境間での不安定な相関関係の処理における有効性を実証している。
• 最適なハイパーパrameter λ₂ は10未満に位置する。λ₂ > 10 では性能がわずかに低下するため、正則化強度の明確なトレードオフが示されている。