[論文レビュー] Calculating Optimistic Likelihoods Using (Geodesically) Convex Optimization

Viêt Anh Nguyên, Soroosh Shafieezadeh-Abadeh+3 more|arXiv (Cornell University)|Oct 17, 2019

Advanced Statistical Methods and Models被引用数 6

ひとこと要約

本稿では、フィッシャー＝ライオ距離を用いて定義された不確実性集合上での測地的凸最適化を活用することで、計算的に効率的な楽観的尤度の計算手法を提案する。この手法により、分布的不確実性下でも頑健な尤度評価が可能となり、理論的保証と凸最適化による効率的解法が得られる。尤度の不確実性を測る指標としてフィッシャー＝ライオ距離またはカルバック・ライブラー発散を用いる場合に特に有効である。

ABSTRACT

A fundamental problem arising in many areas of machine learning is the evaluation of the likelihood of a given observation under different nominal distributions. Frequently, these nominal distributions are themselves estimated from data, which makes them susceptible to estimation errors. We thus propose to replace each nominal distribution with an ambiguity set containing all distributions in its vicinity and to evaluate an \emph{optimistic likelihood}, that is, the maximum of the likelihood over all distributions in the ambiguity set. When the proximity of distributions is quantified by the Fisher-Rao distance or the Kullback-Leibler divergence, the emerging optimistic likelihoods can be computed efficiently using either geodesic or standard convex optimization techniques. We showcase the advantages of working with optimistic likelihoods on a classification problem using synthetic as well as empirical data.

研究の動機と目的

• 機械学習における名目分布の誤特定に対する尤度ベース推論の感度を軽減すること。
• 名目推定値に近い不確実性集合内の分布の尤度の最大値を考慮することで、標準的な尤度評価の代替となる頑健な手法を開発すること。
• 近接性をフィッシャー＝ライオ距離またはカルバック・ライブラー発散で測定する場合に、測地的凸最適化を用いて楽観的尤度を効率的に計算できることを実現すること。
• 合成データおよび実データを用いた分類タスクにおいて、楽観的尤度の優位性を示すこと。

提案手法

• 尤度の楽観的評価を、尤度の最大値を求める問題として定式化し、φ（例：フィッシャー＝ライオ距離やカルバック・ライブラー発散）を不確実性集合の不一致尺度として用いる。
• 非正の断面曲率を示すため、測地的凸性と効率的最適化を可能にするフィッシャー＝ライオ距離を不一致尺度として選択する。
• ラグランジュ緩和を用いて元の尤度最大化問題を双対問題に変換し、スカラ変数γ > 0における1次元最適化問題に簡略化する。
• 行列恒等式（例：ウッドベリーの公式）を用いて、共分散行列が低ランク構造を示す場合の双対問題の閉形式解を導出する。
• 勾配ベースの最適化手法を用いて、得られた1次元最適化問題を解き、数値的効率性を高めるために解析的1次および2次微分を提供する。
• フルランクおよび低ランク共分散の両ケースに本手法を適用し、後者に対して固有値分解を用いた特異な簡略化を導出する。

実験結果

リサーチクエスチョン

• RQ1 真の分布が不確実であるが名目推定値に近い場合、楽観的尤度は計算的に効率的に求められるか？
• RQ2 不一致尺度としてフィッシャー＝ライオ距離を用いることで、測地的凸最適化問題が得られ、解が容易になるか？
• RQ3 楽観的尤度アプローチは、標準尤度推定と比較して、頑健性および分類性能において優れているか？
• RQ4 異なる不一致尺度を用いた場合、楽観的尤度問題の計算複雑度はどの程度か？
• RQ5 行列恒等式を用いることで、楽観的尤度問題の双対定式化が簡略化され、数値的実装が効率的に行えるか？

主な発見

• フィッシャー＝ライオ距離に基づく楽観的尤度問題は、フィッシャー＝ライオ多様体の非正の断面曲率のおかげで、測地的凸最適化問題に簡略化される。
• 双対問題はγ > 0における1次元最適化問題であり、解析的に導出された1次および2次微分を用いた勾配ベースの手法により、効率的に解ける。
• 低ランク共分散構造の場合は、固有値分解を用いてk次元問題に簡略化でき、計算効率が著しく向上する。
• 本手法は正確な双対ギャップを達成でき、双対変数γ*から最適共分散行列を構築できる。
• 合成データおよび実データを用いた数値実験により、分布的不確実性下の分類タスクにおいて、楽観的尤度が標準尤度を上回ることを示した。
• カルバック・ライブラー発散を用いても凸問題が得られるが、幾何的性質と計算の扱いやすさの観点から、フィッシャー＝ライオ距離が好ましい。