[論文レビュー] Approximate Profile Maximum Likelihood

Dmitri S. Pavlichin, Jiantao Jiao+1 more|arXiv (Cornell University)|Dec 19, 2017

Bayesian Modeling and Causal Inference参考文献 29被引用数 12

ひとこと要約

この論文は、類似した経験的頻度を持つ記号をクラスタリングすることで、PML計算における行列パーマネントの下界を求める、効率的な動的計画法に基づく近似プロファイル最大尤度（APML）アルゴリズムを提案する。この手法は、エントロピー、Rényiエントロピー、サポートサイズ、および発散関数の推定において、線形時間計算量かつチューニングパラメータなしで、最先端の経験的性能を達成する。

ABSTRACT

We propose an efficient algorithm for approximate computation of the profile maximum likelihood (PML), a variant of maximum likelihood maximizing the probability of observing a sufficient statistic rather than the empirical sample. The PML has appealing theoretical properties, but is difficult to compute exactly. Inspired by observations gleaned from exactly solvable cases, we look for an approximate PML solution, which, intuitively, clumps comparably frequent symbols into one symbol. This amounts to lower-bounding a certain matrix permanent by summing over a subgroup of the symmetric group rather than the whole group during the computation. We extensively experiment with the approximate solution, and find the empirical performance of our approach is competitive and sometimes significantly better than state-of-the-art performance for various estimation problems.

研究の動機と目的

• 行列パーマネントの計算に起因するNP困難性のため、正確なプロファイル最大尤度（PML）の計算不能性に対処する。
• 経験的頻度が類似する記号をレベル集合にクラスタリングすることで、実用的でパラメータフリーなPMLの近似を構築する。
• エントロピー、Rényiエントロピー、L1距離といった関数のプラグイン推定を可能にし、最適な標本量複雑度を達成する。
• KL、ハリントン、およびχ²発散を含む、発散推定のための多次元PMLにAPMLフレームワークを拡張する。
• 特にサポートサイズが未知の設定において、近似PML分布の離散的および連続的成分を検出できるスケーラブルなアルゴリズムを提供する。

提案手法

• 候補分布のレベル集合を保つ置換のみに和を制限することで、APMLを近似し、下界の目的関数を導出する。
• APML目的関数を、KLダイバージェンス項とレベル集合サイズの階乗の積を最大化する形で定式化する：$\bar{p}^* = \arg\max_p \left( e^{-nD(\hat{p}||p)} \prod_{\alpha \in A(p)} |\alpha|! \right)$。
• 動的計画法を用いて最適なレベル集合の分割を計算し、未観測記号の数について二分探索を実行して最適なサポートサイズを特定する。
• 各周波数グループ $i$ に対して、$f(F_0, K_i, N_i) = \log\left(\frac{(K_i + F_0)!}{F_0!}\right) - N_i \log(K_i + F_0)$ の単峰性最適化により、最適な未観測記号数 $F_0^{(i)}$ を計算する。
• 未観測記号の数 $F_0$ における上界が有限の $F_0$ で達成されない場合（$F_1 > 1$ かつ $i=1$ の場合）、分布に連続的成分が存在することを認識し、離散的成分は別個に処理する。
• 計算複雑度の増加を考慮し、二部数の分割を用いて多次元PMLに拡張し、計算コストを抑えるために貪欲ヒューリスティックを適用する。

実験結果

リサーチクエスチョン

• RQ1 正確なPML計算の指数的コストを回避する、計算的に効率的なPML近似を設計できるか？
• RQ2 類似した経験的頻度を持つ記号をレベル集合にクラスタリングすることで、PMLの実用的かつ正確な近似が得られるか？
• RQ3 APML推定器は、エントロピーおよびサポートサイズの推定において、最適な標本量複雑度を達成できるか？
• RQ4 サポートサイズが未知の設定において、PML分布が連続的成分を有する場合を検出し、適切に処理できるか？
• RQ5 APMLフレームワークは、理論的保証を伴う多次元PMLの発散推定に拡張可能か？

主な発見

• 提案されたAPMLアルゴリズムは、サポートサイズ最適化において $O(\sqrt{n} \log n)$ 時間で実行され、大規模な標本に対してもスケーラブルである。
• APML推定器は、エントロピー、Rényiエントロピー、および一様分布へのL1距離の推定において、最先端の手法と比較して競争的または優れた経験的性能を示す。
• 場合 $i=1$ かつ $F_1 > 1$ のとき、$F_0$ における上界はいかなる有限の $F_0$ でも達成されないため、近似PML分布に質量 $N_1/n$ の連続的成分が存在することが示唆される。
• 条件 $N_i \geq K_i H_{K_i}$ を満たす場合、最適な $F_0^{(i)} = 0$ となり、その周波数グループに対しては追加の未観測記号は不要である。
• 関数 $f(F_0, K_i, N_i)$ は $F_0$ に関して単峰性を示すため、最適な $F_0^{(i)}$ を $O(\log n)$ 時間で二分探索により効率的に特定できる。
• 多次元設定において、APMLアプローチはKL、ハリントン、および $\chi^2$ 発散を含む、さまざまな発散関数の推定において最適な標本量複雑度を達成する。