[論文レビュー] Constrained Bayesian Inference for Low Rank Multitask Learning

Oluwasanmi Koyejo, Joydeep Ghosh|arXiv (Cornell University)|Sep 26, 2013

Statistical Methods and Inference参考文献 22被引用数 9

ひとこと要約

本稿では、制約集合の凸性を要件としない非凸制約付きベイジアン推論フレームワークを提案する。この手法により、低ランクのマルチタスク学習が可能となり、高次元の神経画像データにおいて、予測精度と構造回復性能がベースラインを上回る。

ABSTRACT

We present a novel approach for constrained Bayesian inference. Unlike current methods, our approach does not require convexity of the constraint set. We reduce the constrained variational inference to a parametric optimization over the feasible set of densities and propose a general recipe for such problems. We apply the proposed constrained Bayesian inference approach to multitask learning subject to rank constraints on the weight matrix. Further, constrained parameter estimation is applied to recover the sparse conditional independence structure encoded by prior precision matrices. Our approach is motivated by reverse inference for high dimensional functional neuroimaging, a domain where the high dimensionality and small number of examples requires the use of constraints to ensure meaningful and effective models. For this application, we propose a model that jointly learns a weight matrix and the prior inverse covariance structure between different tasks. We present experimental validation showing that the proposed approach outperforms strong baseline models in terms of predictive performance and structure recovery.

研究の動機と目的

• マルチタスク学習における非凸制約集合を扱えるベイジアン推論フレームワークの開発。
• 高次元設定において、低ランクの重み行列とスパースな条件付き独立構造を同時に学習すること。
• 機能的神経画像データにおける小標本サイズと高次元性の課題に対処すること。
• 制約付き事前分布を用いてタスク間の関係をモデル化することで、神経画像におけるリバースインファレンスを可能にすること。
• 精度行列への構造的事前分布を導入することで、モデルの解釈性と予測性能の向上。

提案手法

• 制約付き変分推論を、許容可能な確率密度の集合上のパrametric最適化として定式化する。
• 制約集合の凸性を要件としない、制約付きベイジアン推論の一般的な手法を提示する。
• 重み行列へのランク制約を適用することで、マルチタスク学習に低ランク構造を強制する。
• 制約付きパrameter推定により、タスク依存関係に関する事前知識を、スパースな精度行列の学習を通じて統合する。
• 重み行列と事前精度構造を同時に推論する統合モデルを採用する。
• 再パrameter化を用いることで、標準的な変分推論技術を効率的に適用可能な最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 非凸制約集合を有するマルチタスク学習に、ベイジアン推論を効果的に適用できるか。
• RQ2 計算の実行可能性を保ちながら、重み行列への低ランク構造をどのように強制できるか。
• RQ3 高次元データから、タスク間のスパースな条件付き独立構造を信頼性高く回復できるか。
• RQ4 予測性能と構造回復の観点から、提案手法は強力なベースラインと比較してどのように優れているか。
• RQ5 重み行列と精度行列の共同学習により、機能的神経画像におけるリバースインファレンスがどのように向上するか。

主な発見

• 提案手法は、高次元神経画像データセットにおいて、強力なベースラインモデルと比較して優れた予測性能を達成した。
• 精度と再現率を指標として測定したところ、モデルはタスク間の元来のスパースな条件付き独立構造を効果的に回復した。
• 制約が非凸であっても、凸制約付きの代替手法よりも、予測精度と構造回復の両面で優れた性能を示した。
• 重み行列と事前精度行列の共同学習により、より頑健で解釈性の高いモデルが得られた。
• 実験的結果から、機能的神経画像に一般的な小標本・高次元設定において、本手法の有効性が示された。
• 構造的事前分布を用いてタスク関係を学習することで、意味のあるリバースインファレンスが可能になった。