[論文レビュー] GP-select: Accelerating EM using adaptive subspace preselection

Jacquelyn A. Shelton, Jan Gasthaus+3 more|arXiv (Cornell University)|Dec 10, 2014

Gaussian Processes and Bayesian Inference参考文献 38被引用数 7

ひとこと要約

本稿では、生成モデルにおける期待最大化（EM）を、ガウス過程回帰を用いてデータから適応的に選択関数を学習することで、関連する潜在変数を特定することにより、非パrametricな手法GP-selectを提案する。従来の手法とは異なり、手作業で設計された関数を必要とせず、データから学習することで、複雑な遮蔽モデルにおいて、推論精度を維持しつつ、計算時間を98.8％削減（22.1秒対1830.9秒）し、最先端の性能を達成した。

ABSTRACT

We propose a nonparametric procedure to achieve fast inference in generative graphical models when the number of latent states is very large. The approach is based on iterative latent variable preselection, where we alternate between learning a 'selection function' to reveal the relevant latent variables, and use this to obtain a compact approximation of the posterior distribution for EM; this can make inference possible where the number of possible latent states is e.g. exponential in the number of latent variables, whereas an exact approach would be computationally unfeasible. We learn the selection function entirely from the observed data and current EM state via Gaussian process regression. This is by contrast with earlier approaches, where selection functions were manually-designed for each problem setting. We show that our approach performs as well as these bespoke selection functions on a wide variety of inference problems: in particular, for the challenging case of a hierarchical model for object localization with occlusion, we achieve results that match a customized state-of-the-art selection method, at a far lower computational cost.

研究の動機と目的

• 指数的サイズの潜在状態空間を有するモデルにおけるEMの計算的非現実性に対処すること。
• EM高速化のための期待切断（ET）において、熟練者による設計が必要な問題特化型選択関数の必要性を排除すること。
• ガウス過程回帰を用いてデータから選択関数を学習する一般化可能で非パrametricな手法を開発すること。
• 手作業による選択関数設計が非現実的である、特に遮蔽を伴う階層的モデルのような複雑なモデルにおける効率的推論を可能にすること。
• 大幅な計算コスト削減を実現しつつ、特化型選択関数と同等の性能を達成すること。

提案手法

• 本手法は、観測データから関連する潜在変数状態へのマッピングを実行する非パrametricな選択関数を、ガウス過程回帰を用いて学習する。
• 選択関数は、EM反復の過程で現在のモデルパラメータと観測データに基づき、適応的に更新される。
• 選択関数はEステップにおいて、事後確率が高いための潜在状態にのみ注目することで、計算負荷を低減する。
• ガウス過程回帰により、効率的なワンショット学習と高速な再訓練が可能となり、変化するターゲットに対する適応的学習を支援する。
• ブラックボックスのメタアルゴリズムとして適用可能であり、モデル固有の設計を必要としない。
• カーネルハイパーパramータは、定期的に（例：5回ごとのEMステップごと）更新するか、不完全コレスキー分解を用いることで計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型で非パrametricな手法が、EM推論において、手作業で設計された問題特化型選択関数と同等の性能を達成できるか？
• RQ2 ガウス過程による選択関数の適応的学習が、潜在状態空間が大きな複雑なモデルにおいて、顕著な計算高速化を実現できるか？
• RQ3 GP-selectは、正確なEMや手作業で設計された選択関数と比較して、計算時間の大幅な削減を実現しながらも、高い推論精度を維持できるか？
• RQ4 非線形GP回帰の柔軟性が、スパースコーディングや階層的モデルにおける複雑な事後分布の形状をモデル化するために不可欠であるか？
• RQ5 選択関数は、大規模かつ高次元の潜在変数モデルにおけるEMのスケーラビリティを実現するのに十分に効率的に学習可能か？

主な発見

• GP-selectは、疑似対数尤度の比較により、階層的遮蔽モデルにおいて、元の手作業で設計された選択関数と区別できない推論精度を達成した。
• 単一のCPUコア上で、推論時間を1830.9秒から22.1秒に短縮し、計算量を98.8％削減した。
• 不完全コレスキー分解や5ステップごとのハイパーパramータ更新といった近似を用いても、精度が保持され、さらに高速化が達成された。
• スパイラル・スラブモデルにおける事後分布の形状をモデル化するには、非線形GP回帰が不可欠であり、線形回帰では柔軟性が不足していた。
• 従来の手法が膨大な手作業の設計を要したが、本手法により、遮蔽を伴うオブジェクト検出のための複雑な階層的モデルにおいても、効率的な推論が可能になった。
• ハイパーパramータの更新に要する計算コストは管理可能であり、効率的な近似を用いることで、194～390秒の範囲に収まった。