[論文レビュー] Distributionally Robust Local Non-parametric Conditional Estimation

Viêt Anh Nguyên, Fan Zhang+3 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Statistical Methods and Models被引用数 6

ひとこと要約

本稿では、Wassersteinのあいまいさ集合上の最悪ケースの条件付き期待損失を最小化する分布的ロバストな局所的非パラメトリック推定器を提案する。この手法により、データの汚染や不均一性がある状況下でもロバストな条件付き推定が可能になる。この方法は凸最適化を活用し、低サンプルサイズ下でも効率的に推定値を計算できる。合成データおよびMNISTデータにおいて優れた性能を示した。

ABSTRACT

Conditional estimation given specific covariate values (i.e., local conditional estimation or functional estimation) is ubiquitously useful with applications in engineering, social and natural sciences. Existing data-driven non-parametric estimators mostly focus on structured homogeneous data (e.g., weakly independent and stationary data), thus they are sensitive to adversarial noise and may perform poorly under a low sample size. To alleviate these issues, we propose a new distributionally robust estimator that generates non-parametric local estimates by minimizing the worst-case conditional expected loss over all adversarial distributions in a Wasserstein ambiguity set. We show that despite being generally intractable, the local estimator can be efficiently found via convex optimization under broadly applicable settings, and it is robust to the corruption and heterogeneity of the data. Experiments with synthetic and MNIST datasets show the competitive performance of this new class of estimators.

研究の動機と目的

• 敵対的ノイズおよび低サンプルサイズの状況下で、従来の非パラメトリック推定器の限界を克服すること。
• 不均一で非ステーションナリィなデータ環境下での局所的条件付き推定の信頼性を向上させること。
• 分布のシフトやデータ汚染に対してロバストな、データ駆動型の推定器を開発すること。
• 広範な条件下で凸最適化を用いてロバストな局所推定値を効率的に計算可能にする仕組みを構築すること。

提案手法

• 局所的条件付き推定問題を、確率分布のWassersteinあいまいさ集合上のミニマックス最適化問題として定式化する。
• 最悪ケースの条件付き期待損失を最小化する目的関数として定義し、敵対的分布に対するロバスト性を確保する。
• 一般問題では計算不能であるが、凸最適化技術を用いることで、推定器の効率的計算を実現する。
• 訓練データの経験分布を中心に、指定された半径をもつWasserstein距離を用いてあいまいさ集合を構築する。
• 推定器が非パラメトリックであり、特定の共変量の値に局所的に適応することを保証する。
• 双対性理論を活用し、弱い正則性条件のもとで、ロバスト最適化問題を扱いやすい形に変換する。

実験結果

リサーチクエスチョン

• RQ1 低サンプルサイズ下で、敵対的ノイズやデータの不均一性に対してロバストな非パラメトリック局所推定器を構築できるか？
• RQ2 最小限の仮定で、分布的ロバスト性を局所的条件付き推定に形式的に組み込む方法は何か？
• RQ3 実際の応用において、得られるロバスト最適化問題を解くことの計算可能性はいかがなものか？
• RQ4 データ汚染下において、提案手法の推定器は標準的な非パラメトリック手法と比べて、精度と安定性に優れているか？

主な発見

• 提案手法は、敵対的ノイズ下でも合成データおよびMNISTデータの両方で、標準的な非パラメトリック手法を上回る優れた性能を発揮した。
• 広く適用可能な条件下で、凸最適化を用いた計算の効率性と実行可能性が保証された。
• 強いパラメトリック仮定や大規模なサンプルサイズを必要とせず、データ汚染に対するロバスト性が達成された。
• 不均一で非ステーションナリィなデータに対しても効果的に対処でき、低サンプルサイズ下でベースライン手法を上回った。