[論文レビュー] Fast MLE Computation for the Dirichlet Multinomial

Max Sklar|arXiv (Cornell University)|May 1, 2014

Bayesian Methods and Mixture Models参考文献 13被引用数 12

ひとこと要約

本論文は、事前に計算された digamma 関数および trigamma 関数の項を用いたニュートン・ラプソン法最適化を用いて、ディリクレ・多項分布パラメータの高速な最尤推定（MLE）のための、新規で単一パスのアルゴリズムを提案する。繰り返しの改善段階から事前計算を分離することにより、特にスパースデータに対して実行時間を大幅に短縮し、データセットサイズに依存しない定数時間のニュートン・ラプソンステップを達成する。標準実装と比較して、実験的に最大10倍の高速化を達成した。

ABSTRACT

Given a collection of categorical data, we want to find the parameters of a Dirichlet distribution which maximizes the likelihood of that data. Newton's method is typically used for this purpose but current implementations require reading through the entire dataset on each iteration. In this paper, we propose a modification which requires only a single pass through the dataset and substantially decreases running time. Furthermore we analyze both theoretically and empirically the performance of the proposed algorithm, and provide an open source implementation.

研究の動機と目的

• 大規模データ応用におけるディリクレ・多項分布のMLE計算を高速化すること。
• 各反復で全データセットを再スキャンする必要がある標準のニュートン・ラプソン法の非効率性を是正すること。
• 高次元かつスパースな状況下でもスケーラブルで並列処理可能なディリクレパラメータの推定を可能にすること。
• ベイズモデル、トピックモデル（例：LDA）、混合モデルにおける効率的な推論を支援すること。
• 実用的でオープンソースの実装を提供し、研究および生産用途に活用可能とすること。

提案手法

• 2段階のアルゴリズムを提案：まず、digamma 関数および trigamma 関数を用いて行単位の統計量（U および v）の事前計算を行い、その後ニュートン・ラプソン法による最適化を実行する。
• digamma 関数および trigamma 関数の数学的恒等式を用いて、通常は各反復で再計算される項を事前に計算する。
• 事前計算ステップをニュートン・ラプソン反復から分離することで、各行を独立して処理可能とし、並列処理を可能にする。
• 事前に計算された U および v を用いて、全データセットに対してニュートン・ラプソン法を適用し、反復回数に依存しない収束を実現する。
• パワー則分布に従うデータに対してはハイブリッドアプローチを採用し、高カウント行と低カウント行に分けて性能最適化を図る。
• U および v をデータの走査統計量として維持することで、インクリメンタルアップデートや早期終了が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ・多項分布のMLE計算は、十分統計量の事前計算によって高速化可能か？
• RQ2 事前計算とニュートン・ラプソン法を分離することで、特にスパースまたは大規模データに対して全体の実行時間を短縮できるか？
• RQ3 カテゴリ数（K）および多項分布サンプル数（M）の増加に伴って、この手法はどのようにスケーリングするか？
• RQ4 このアルゴリズムは効率的に並列化可能か、ストリーミングデータに適応可能か？
• RQ5 実世界のシナリオにおいて、Minka や Wallach の固定点反復法と比較して、性能はどの程度か？

主な発見

• 提案手法は、標準のニュートン・ラプソン実装と比較して最大10倍の高速化を達成した。特に M が小さく N が大きい場合に顕著であった。
• M が増加してもニュートン・ラプソンステップが定数時間で実行可能である。これは、各反復で全データセットを再読み込みする必要がなくなったためである。
• 事前計算は高度に並列化可能であり、途中で停止したり、インクリメンタルに延長したりできるため、ストリーミング処理や分散処理に対応可能である。
• 数値的精度を維持しており、同一の初期化条件下では他のニュートン・ラプソンベースの手法と同一のMLE解に収束する。
• 非常に高い K（例：2048次元）では、メモリ割り当ておよびデータ構造のオーバーヘッドのため性能が低下する傾向が見られた。
• 高カウント行には Minka の手法、低カウント行には本手法を組み合わせたハイブリッドアプローチが、単独で使用する手法よりも優れた性能を発揮した。