[論文レビュー] Holonomic Gradient Descent for the Fisher-Bingham Distribution on the $d$-dimensional Sphere

Tamio Koyama, Hiromasa Nakayama+2 more|arXiv (Cornell University)|Jan 16, 2012

Bayesian Methods and Mixture Models参考文献 10被引用数 7

ひとこと要約

本稿では、次元 $d=7$ までにまで、$d$-次元球面上のフィッシャー・ビンガム分布の最尤推定量（MLE）を計算するための加速されたホロノミック勾配降下法（HGD）を提案する。ペファリアン系を因数分解形で導出し、正規化定数の級数展開と誤差推定を組み合わせることで、正確かつ効率的なMLE計算が可能となり、$d=3$ では3.3秒未塔、$d=7$ では3.3分未塔で結果が得られる。

ABSTRACT

We propose an accelerated version of the holonomic gradient descent and apply it to calculating the maximum likelihood estimate (MLE) of the Fisher-Bingham distribution on a $d$-dimensional sphere. We derive a Pfaffian system (an integrable connection) and a series expansion associated with the normalizing constant with an error estimation. These enable us to solve some MLE problems up to dimension $d=7$ with a specified accuracy.

研究の動機と目的

• 高次元球面上におけるフィッシャー・ビンガム分布の最尤推定量（MLE）を効率的に計算する手法の開発。標準的手法では正規化定数が計算不能であるため、その困難を克服する。
• $d > 2$ の場合にGröbナーベースを用いたペファリアン系の導出における計算ボトルネックを解消するため、因数分解形で手動でペファリアン系を導出する。
• ホロノミック系からの明示的誤差推定を用いて、正規化定数およびその微分の高精度評価を可能にする級数展開の構築。
• 次元 $d=7$ までにまでHGDに基づくMLE計算の実現可能性を示し、数値的精度を制御する。
• フィッシャー・ビンガムの場合に限らないが、球面上のホロノミック指数型分布族におけるMLEの一般化・再利用可能なフレームワークの提供。

提案手法

• フィッシャー・ビンガム分布の正規化定数に対する因数分解形のペファリアン系を $S^d(r)$ 上で導出し、パラメータ経路に沿った効率的な数値積分を可能にする。
• 再帰的係数計算を用いた正規化定数 $Z(x,y,r)$ の級数展開を構築し、ホロノミック系から導出された明示的誤差境界を併用する。
• Gröbナーベース計算を回避するため、因数分解形ペファリアン系を用いることで計算複雑性を低減した加速HGDアルゴリズムを実装する。
• 数値積分とHGM（ホッジ・ガウス・メラー）法を用いて、$Z$ 及びその微分の初期点評価を実行する。
• 初期パラメータ推定値 $\theta^0$ を良好に得るためNelder–Mead法を適用し、その後、数値的不安定性に起因する再試行を適応的に行うHGDを実行する。
• GNU科学ライブラリを用いたC言語による実装を実施。移植性と正しさを確保するため、Risa/Asir上でカスタムツールを用いてコード生成を実施する。

実験結果

リサーチクエスチョン

• RQ1 ホロノミック勾配降下法は、次元 $d \geq 3$ の球面上のフィッシャー・ビンガム分布のMLE計算に、加速・拡張可能か？
• RQ2 Gröbナーベース計算に依存せずに、フィッシャー・ビンガム分布の正規化定数に対するペファリアン系を因数分解形で導出可能か？
• RQ3 高次元の場合に対しても、正規化定数の級数展開を、厳密な誤差推定とともに構築可能か？
• RQ4 加速HGD法の性能と精度は、$d$ が7までにまでに及ぶ場合、従来手法と比較してどの程度か？
• RQ5 実際の応用において、数値的安定性と異なる初期点における成功確率を含め、本手法の耐障害性はいかがなものか？

主な発見

• 加速HGD法により、次元 $d=7$ までにまでフィッシャー・ビンガム分布のMLEが正しく計算可能であり、$d=3$ では13秒、$d=7$ では3250秒の計算時間で実行可能である。
• $d=3$ の場合、Nelder–Mead（9.8秒）とHGD（3.2秒）を含め13秒でMLEを達成し、従来のHGD実装と比較して6.7倍の高速化を達成した。
• $S^3$ では6/8の成功率、$S^7$ では1/8の成功率を示し、数値的不安定性はそれぞれ2/8および7/8の試行で発生した。次元が増加するにつれて困難が増加していることが示された。
• 正規化定数の級数展開により、誤差を制御した高精度な初期評価が可能となり、安定なHGD伝搬が実現した。
• 因数分解形ペファリアン系により、各HGDステップでの行列逆行列計算が効率的に行える。各ステップで $(2d+2)\times(2d+2)$ の行列が使用された。
• 本手法により、$Z$ 及びその微分の数値的精度を精密に制御可能であり、他の近似手法への応用にも適している。