[論文レビュー] Harmonic Exponential Families on Manifolds

Taco Cohen, Max Welling|UvA-DARE (University of Amsterdam)|May 17, 2015

Gaussian Processes and Bayesian Inference参考文献 20被引用数 12

ひとこと要約

本稿では、非可換調和解析と一般化された高速フーリエ変換（FFT）を活用することで、球面や回転群などの多様体上における柔軟で取り扱いやすい確率的モデルである調和指数型分布族を導入する。この手法により、最大尤度推定とベイズ推論が効率的に行える。他のモデル（例：ケント混合モデル）と比較して顕著に高い対数尤度を達成する一方で、学習が数個のオーダー速く、凸最適化によりグローバル収束が保証される。

ABSTRACT

In a range of fields including the geosciences, molecular biology, robotics and computer vision, one encounters problems that involve random variables on manifolds. Currently, there is a lack of flexible probabilistic models on manifolds that are fast and easy to train. We define an extremely flexible class of exponential family distributions on manifolds such as the torus, sphere, and rotation groups, and show that for these distributions the gradient of the log-likelihood can be computed efficiently using a non-commutative generalization of the Fast Fourier Transform (FFT). We discuss applications to Bayesian camera motion estimation (where harmonic exponential families serve as conjugate priors), and modelling of the spatial distribution of earthquakes on the surface of the earth. Our experimental results show that harmonic densities yield a significantly higher likelihood than the best competing method, while being orders of magnitude faster to train.

研究の動機と目的

• 球面や回転群などの多様体上の確率的変数を対象とする柔軟で取り扱いやすい確率的モデルの開発。
• コンact Lie群や同次空間上における高次元指数型分布族のための効率的な学習手法の欠如に応える。
• 一般化されたFFTアルゴリズムを用いて、多様体上での最大尤度推定とベイズ推論を効率的に行う。
• 地震分布のような実世界のデータを、既存の手法と比較して優れた性能でモデル化することの実証。
• ベイズ的変換推定問題において、調和指数型分布族を共役事前分布として確立すること。

提案手法

• 本稿では、コンパクトなLie群や同次空間上で、正弦波に類似した一般化されたフーリエ基底関数を用いて調和指数型分布族を定義する。
• 非可換調和解析を用いて、十分統計量とモデル密度を群表現の言語で表現する。
• モーメントマップと対数正規化定数は、一般化されたFFTアルゴリズムを用いて効率的に計算され、高速な最大尤度推定が可能になる。
• ベイズ推論の文脈では、尤度がガウス分布の場合に調和密度が共役性を示すことを活用し、FFTを用いて閉形式での事後分布更新が可能になる。
• 事後分布のMAP推定値は、グローバルモードを特定するためにもう一度FFTを実行することで、効率的に計算される。
• SO(2)、SO(3)、S¹、S²に対して本手法を具体化し、数万パラメータにわたるスケーラブルな学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 多様体上に、表現力がありながらも効率的に学習可能な指数型分布族のクラスを構築できるか？
• RQ2 一般化されたFFTアルゴリズムを用いて、コンパクトなLie群上における指数型分布族の対数正規化定数とモーメントマップを計算できるか？
• RQ3 調和指数型分布族は、多様体構造を持つデータに対して、混合モデルと比較して尤度と学習速度の両面で優れているか？
• RQ4 調和指数型分布族は、ベイズ的変換推定問題において共役事前分布として機能できるか？
• RQ5 対数尤度関数の凸性が、高次元設定における最適化の性能と収束性に与える影響は何か？

主な発見

• 交差検証5分割平均で、調和密度は+0.3のテスト対数尤度を達成した。これは、同じ条件下で-0.37にとどまったケント混合モデル（KMM）を著しく上回った。
• パラメータ数440（バンド制限L=20）で調和密度は対数尤度-0.28を達成したが、KMMは-0.37にとどまり、パラメータ数も少ないにもかかわらずこれを上回った。
• 調和密度の学習は、KMMと比較して数個のオーダー速く、KMMは70個を超える混合成分を超えると多くの再起動を要し、実行不可能になった。
• 調和密度の対数尤度関数は凸であるため、L-BFGSを用いた最適化で20〜100イテレーションでグローバル収束が保証された。
• 帯域制限のためのわずかなリングングのアーティファクトが対数空間に現れるが、その影響は微小（10⁻³オーダー）であり、実用的性能に影響しない。
• 調和密度はやや重たい尾部を示すが、これは地震の空間分布のような実世界のデータ特性をよりよく反映している可能性がある。