[論文レビュー] Optimistic Distributionally Robust Optimization for Nonparametric Likelihood Approximation

Viet Anh Nguyen, Soroosh Shafieezadeh-Abadeh+3 more|arXiv (Cornell University)|Oct 23, 2019

Gaussian Processes and Bayesian Inference被引用数 8

ひとこと要約

本稿では、非パラメトリック尤度近似のための楽観的分布ロバスト最適化フレームワークを提案する。尤度は、与えられた標本を観測する確率を最大化するように、Wasserstein距離またはKL発散度に基づく不確実性集合内の確率測度に対して近似される。このアプローチにより、特定の状況では解析的解を有する凸最適化問題が得られ、後退的推論における強い理論的保証が得られる。

ABSTRACT

The likelihood function is a fundamental component in Bayesian statistics. However, evaluating the likelihood of an observation is computationally intractable in many applications. In this paper, we propose a non-parametric approximation of the likelihood that identifies a probability measure which lies in the neighborhood of the nominal measure and that maximizes the probability of observing the given sample point. We show that when the neighborhood is constructed by the Kullback-Leibler divergence, by moment conditions or by the Wasserstein distance, then our extit{optimistic likelihood} can be determined through the solution of a convex optimization problem, and it admits an analytical expression in particular cases. We also show that the posterior inference problem with our optimistic likelihood approximation enjoys strong theoretical performance guarantees, and it performs competitively in a probabilistic classification task.

研究の動機と目的

• ベイズ統計における尤度評価の非可解性の課題に対処すること、特に閉形式の表現が得られない場合を想定する。
• 真の尤度が非可解であっても、計算的に取り扱い可能でありながら統計的ロバスト性を保つ非パラメトリック尤度近似を開発すること。
• 尤度近似を用いた後退的推論における強い理論的性能保証を確保すること。
• WassersteinおよびKL発散度に基づく不確実性集合を用いた尤度近似のための凸最適化フレームワークを提供すること。
• 尤度の非可解性にもかかわらず、確率的分類タスクにおいて競争的な性能を示すこと。

提案手法

• この手法は、観測された標本上での経験分布として、尤度に関する名目的信念をモデル化する。
• 楽観的尤度近似を、名目的測度の近傍（不確実性集合）内の測度に対して観測データの確率を最大化する分布ロバスト最適化問題として定式化する。
• 分布シフトに対するロバスト性を確保するため、不確実性集合はWasserstein距離またはKullback-Leibler発散度を用いて定義される。
• Wasserstein不確実性集合の場合、輸送変数と全変動および距離に関する制約を用いて、有限の凸計画問題に再定式化される。
• 解は、名目的サポートと観測されたデータ点の和集合上に支持されるため、計算が効率的に行える。
• 凸双対性と弱コンactnessを活用して、最適測度の存在と収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 真の尤度が非可解であっても、計算的に取り扱い可能な非パラメトリック尤度近似を構築できるか？
• RQ2 パラメトリックな形を仮定せずに、尤度推定における分布的不確実性に対してロバスト性を確保する方法は何か？
• RQ3 この楽観的尤度近似を用いた場合、後退的推論の理論的性能はどの程度か？
• RQ4 提案手法を、異なる不確実性集合に対して凸最適化問題に再定式化できるか？
• RQ5 確率的分類などの実用的推論タスクにおいて、この手法はどの程度の性能を示すか？

主な発見

• Wasserstein不確実性集合における楽観的尤度近似は、輸送コストおよび質量保存に関する明示的制約を持つ有限凸計画問題に再定式化可能である。
• Wassersteinに基づく問題の最適測度は、名目的サポートと観測されたデータ点の和集合上に支持されるため、計算が効率的に行える。
• KL発散度に基づく不確実性集合では、ややきめ細かい正則性条件のもとで、最適尤度も閉形式解を有する。
• この手法は、一貫性およびモデル不適合に対するロバスト性を含む、後退的推論における強い理論的性能保証を提供する。
• 実験的結果では、尤度非可解法のベースラインを上回る予測精度を示し、確率的分類タスクにおいて競争的な性能を発揮した。
• 楽観的対数尤度問題の目的関数は上半連続であるため、弱収束のもとで最適解の存在が保証される。