[論文レビュー] Sparse Bayesian Structure Learning with Dependent Relevance Determination Priors

Anqi Wu, Mijung Park+2 more|arXiv (Cornell University)|Dec 8, 2014

Gaussian Processes and Bayesian Inference参考文献 25被引用数 12

ひとこと要約

本稿では、変換されたガウス過程と構造的フーリエベースの事前分布を用いて、事前分散の依存関係をモデル化することで、領域スパースな回帰重みを誘導する階層ベイジアンモデルを提案する。この手法は、元のドメインおよびフーリエドメインの両方でスパarsityを同時に促進し、模擬データおよび脳画像データにおいて、グループlassoやスムーズなリlevanceベクターマシンを凌駃する性能を発揮する。

ABSTRACT

In many problem settings, parameter vectors are not merely sparse, but dependent in such a way that non-zero coefficients tend to cluster together. We refer to this form of dependency as region sparsity. Classical sparse regression methods, such as the lasso and automatic relevance determination (ARD), model parameters as independent a priori, and therefore do not exploit such dependencies. Here we introduce a hierarchical model for smooth, region-sparse weight vectors and tensors in a linear regression setting. Our approach represents a hierarchical extension of the relevance determination framework, where we add a transformed Gaussian process to model the dependencies between the prior variances of regression weights. We combine this with a structured model of the prior variances of Fourier coefficients, which eliminates unnecessary high frequencies. The resulting prior encourages weights to be region-sparse in two different bases simultaneously. We develop efficient approximate inference methods and show substantial improvements over comparable methods (e.g., group lasso and smooth RVM) for both simulated and real datasets from brain imaging.

研究の動機と目的

• 古典的なスパース回帰手法（lasso や ARD）の限界、すなわち独立した事前分布を仮定し、非ゼロ係数のクラスタリングを活用できない点を是正すること。
• 非ゼロ回帰係数が空間的または時間的にクラスタリングする「領域スパース性」を、高次元線形回帰設定においてモデル化すること。
• 回帰重みの事前分散同士の依存関係を表現する階層的事前分布構造を構築すること。
• フーリエ係数に構造的事前分布を組み込み、高周波成分を抑えて滑らかさを強制すること。
• 効率的な近似推論を可能にし、特に脳画像解析の文脈で、実データおよび模擬データにおいて優れた性能を示すこと。

提案手法

• 回帰重みに独立したガウス事前分布を割り当て、その分散を変換されたガウス過程で制御することで、非ゼロ係数同士の依存関係を誘導する階層ベイジアンモデルを提案。
• 回帰重みの事前分散をモデリングするため、変換されたガウス過程を用い、非ゼロ係数の滑らかでクラスタリングされたパターンを実現。
• 分散プロセスのフーリエ係数に構造的事前分布を導入し、不要な高周波成分を除去し、滑らかさを強制。
• 分散プロセスの事前分布とフーリエベースの正則化を組み合わせ、元のドメインおよび周波数ドメインの両方で領域スパース性を促進。
• スケーラブルな高次元設定における推論を可能にするために、変分推論を採用。
• 係数空間だけでなく、フーリエドメインでもスパarsityを促進する共同事前分布を導出。

実験結果

リサーチクエスチョン

• RQ1 階層ベイジアンモデルが、回帰係数の事前分散同士の依存関係をモデル化することで、領域スパース性を効果的に捉えることができるか？
• RQ2 事前分散に変換されたガウス過程を組み込むことで、独立した事前分布仮定に比べてスパース回帰の性能がどの程度向上するか？
• RQ3 フーリエ係数に構造的事前分布を追加することで、時間／周波数ドメインおよび空間ドメインにおける滑らかさとスパース性がどの程度向上するか？
• RQ4 本手法は、実脳画像データにおいて、グループlassoやスムーズなRVMと比較して、予測精度およびスパース構造の両面で優れているか？
• RQ5 高次元設定において、計算効率を維持しながら、より優れた領域スパース回復が達成可能か？

主な発見

• 本手法は、模擬データおよび実脳画像データの両方において、グループlassoやスムーズなRVMを上回る顕著な予測性能の向上を達成した。
• 変換されたガウス過程による事前分散の依存関係を活用することで、モデルは効果的に領域スパースな重みベクトルを誘導した。
• フーリエ係数に構造的事前分布を組み込むことで、高周波成分が効果的に抑制され、より滑らかで整合性のある非ゼロ係数パターンが得られた。
• 元のドメインとフーリエドメインの両方でのスパース性の共同モデリングにより、高次元回帰におけるクラスタリングされた意味のある特徴の回復が向上した。
• 効率的な変分推論により、数千の特徴を持つ神経画像データを含む大規模問題へのスケーラブルな適用が可能になった。
• 実証的結果から、本手法は標準的なスパース回帰手法に比べ、非ゼロ係数の空間的または時間的クラスタリングをよりよく保持していることが示された。