[論文レビュー] A Slice Sampler for Restricted Hierarchical Beta Process with Applications to Shared Subspace Learning

Sunil Gupta, Dinh Phung+1 more|arXiv (Cornell University)|Oct 16, 2012

Bayesian Methods and Mixture Models参考文献 16被引用数 10

ひとこと要約

本稿では、非共役尤度を伴う複数のデータソース間で共有される部分空間学習を可能にする、制限付き階層ベータ過程（rHBP）のスライスサンプラーを提案する。要因を階層的事前分布を介して複数のソース間で共有することで、計算可能なベイズ推論を可能とし、自然言語モデリングおよび画像検索タスクにおいて優れた転移学習性能を達成する。

ABSTRACT

Hierarchical beta process has found interesting applications in recent years. In this paper we present a modified hierarchical beta process prior with applications to hierarchical modeling of multiple data sources. The novel use of the prior over a hierarchical factor model allows factors to be shared across different sources. We derive a slice sampler for this model, enabling tractable inference even when the likelihood and the prior over parameters are non-conjugate. This allows the application of the model in much wider contexts without restrictions. We present two different data generative models a linear GaussianGaussian model for real valued data and a linear Poisson-gamma model for count data. Encouraging transfer learning results are shown for two real world applications text modeling and content based image retrieval.

研究の動機と目的

• 複数のデータソース間で共有要因を有するスケーラブルなベイズモデルを構築すること。
• 非共役尤度と複雑な事前分布を伴うモデルにおける計算可能な推論を可能にすること。
• 異なるデータタイプやソース間で要因を共有することにより、転移学習を支援すること。
• 階層ベータ過程の適用範囲を、多様な尤度構造を有する現実世界のデータに拡張すること。
• 自然言語モデリングおよびコンテンツベースの画像検索の分野における実証的有効性を示すこと。

提案手法

• 複数のデータソース間で共有要因を誘導するため、制限付き階層ベータ過程（rHBP）事前分布を提案する。
• 非共役尤度を扱えるスライスサンプラーを構築し、共役性の仮定なしに完全なベイズ推論を可能にする。
• 共有要因が複数のソース間で学習可能であり、ソース固有の要因を許容する階層的要因モデルにrHBPを適用する。
• 2つのデータ生成モデルを採用する：実数値データには線形ガウス＝ガウスモデル、度数データには線形ポアソン＝ガンマモデルを用いる。
• 変分近似を必要とせず、潜在的要因とハイパーパrameterを同時に推論するためにスライスサンプリングを用いる。
• 後方分布計算のための効率的なギブスサンプリングステップをスライスサンプラー枠組み内に導出する。

実験結果

リサーチクエスチョン

• RQ1 複数のデータソース間で共有要因を持つ非共役ベイズモデルは、効率的に推論可能か？
• RQ2 rHBP事前分布は、複数ソースデータ設定における転移学習をどの程度効果的に可能にするか？
• RQ3 提案モデルは、自然言語モデリングや画像検索といった現実世界の応用において、どの程度の性能を示すか？
• RQ4 スケーラビリティと正確性の観点から、スライスサンプラーは他の推論手法と比べてどうか？
• RQ5 モデルは、共有部分空間を効果的に学習しつつ、ソース固有の特徴を保持できるか？

主な発見

• 提案されたスライスサンプラーにより、非共役尤度を伴う階層的要因モデルにおける効率的かつ計算可能な推論が可能になった。
• 自然言語モデリングにおいて、共有要因学習を通じて性能が向上する、前向きな転移学習の結果が得られた。
• コンテンツベースの画像検索において、複数の画像データセット間で共有部分空間を活用することで、検索精度が向上した。
• 線形ガウス＝ガウスモデルとポアソン＝ガンマモデルは、それぞれ実数値データおよび度数データにおいて優れた実証的性能を示した。
• rHBP事前分布は、データソース間で共有構造を効果的に捉えつつ、ソース固有の変動を許容した。
• 本手法は共役モデルに限定されず、階層ベータ過程の応用範囲を広げた。