[論文レビュー] Diversifying Sparsity Using Variational Determinantal Point Processes

Kayhan Batmanghelich, Gerald Quon+4 more|arXiv (Cornell University)|Nov 23, 2014

Point processes and geometric inequalities参考文献 19被引用数 10

ひとこと要約

本稿では、共分散や補助情報に基づいて特徴量の多様性を促進するための事後分布近似として、変分的決定的ポイントプロセス（DPP）フレームワークを提案する。この手法は、LASSO や OMP といった従来手法よりも顕著に多様性が高く、精度の高い特徴量集合を実現するとともに、サンプリングを用いた不確実性の定量化を可能にする。

ABSTRACT

We propose a novel diverse feature selection method based on determinantal point processes (DPPs). Our model enables one to flexibly define diversity based on the covariance of features (similar to orthogonal matching pursuit) or alternatively based on side information. We introduce our approach in the context of Bayesian sparse regression, employing a DPP as a variational approximation to the true spike and slab posterior distribution. We subsequently show how this variational DPP approximation generalizes and extends mean-field approximation, and can be learned efficiently by exploiting the fast sampling properties of DPPs. Our motivating application comes from bioinformatics, where we aim to identify a diverse set of genes whose expression profiles predict a tumor type where the diversity is defined with respect to a gene-gene interaction network. We also explore an application in spatial statistics. In both cases, we demonstrate that the proposed method yields significantly more diverse feature sets than classic sparse methods, without compromising accuracy.

研究の動機と目的

• LASSO や OMP のような標準的なスパース特徴量選択手法に、明示的な多様性促進機能が欠如しているという問題に取り組む。
• 特徴量の多様性を促進する、確率的かつ計算的に実行可能なフレームワークを構築する。ここでは、決定的ポイントプロセス（DPP）を用いる。
• スパイクアンドスラブ事後分布の変分近似を提供し、複雑な依存関係を捉えつつ、効率的な学習とサンプリングを可能にする。
• 特徴量の共分散や外部の補助情報（例：遺伝子相互作用ネットワーク）に基づいた多様性を実現し、実世界の応用における解釈可能性を向上させる。
• 平均場近似や古典的スパース手法と比較して、本手法の多様性および性能の優位性を示す。

提案手法

• スパイクアンドスラブモデルの事後分布近似として DPP を用い、平均場因子分解に代えて構造的依存関係を導入する。
• Salimans と Knowles (2013) に基づく柔軟な変分推論フレームワークを採用し、効率的な尤度評価と事後分布サンプリングのみを要件とする。
• 回帰における閉形式の周辺尤度と、SVD を用いた効率的なサンプリングを活用し、高速な MAP 評価と信用区間の推定を可能にする。
• 類似度特徴量 Φ を用いて DPP カーネルをパrameter化することで、特徴量の共分散やアプリケーション固有の補助情報に基づいた多様性の定義を可能にする。
• サンプルされた特徴量サブセットを用いた確率的勾配更新により、DPP パrameter を反復的に最適化し、温度パrameter を用いた適応的基数制御を実現する。
• 2 種類の設定をサポートする：DPP-Bernoulli（DPP 前提分布、Bernoulli 事後分布）と Bernoulli-DPP（Bernoulli 前提分布、DPP 事後分布）、両者とも多様な選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DPP を用いた変分的事後分布は、平均場近似に比べて、多様で高パフォーマンスな特徴量サブセットを捉える上で優れているか？
• RQ2 本手法は、LASSO や OMP と比較して、特徴量の多様性および予測精度において優れているか？
• RQ3 DPP フレームワークは、遺伝子相互作用ネットワークなどの補助情報（例）を効果的に統合し、特徴量相関を超えた多様性を誘導できるか？
• RQ4 変分的 DPP アプローチは、サンプリングに基づく信用区間を用いて、信頼性のある不確実性の定量化を提供するか？
• RQ5 本手法は、高次元かつ相関の強い特徴量に対して頑健であり、特に OMP が不安定性のため失敗するような状況でも有効か？

主な発見

• 提案手法の DPP を用いた変分的アプローチは、LASSO や OMP よりも顕著に多様性の高い特徴量集合を生成する。特に遺伝子発現データにおいて、予測精度を損なわず、多様性を実現する。
• 米国気温データの応用において、DPP-Bernoulli と Bernoulli-DPP は SpikeSlab や OMP よりも優れた空間的多様性を達成した。一方、OMP は疎な領域で過剰選択を示した。
• Φ = X の場合、DPP 事後分布近似は、平均場近似を用いた DPP 前提分布と同等の性能を示し、その有効性を裏付けた。
• 本手法は、ネットワークベースの多様性を用いて、生物学的に意味のある非相関遺伝子群を腫瘍サブタイピングにおいて特定でき、バイオインフォマティクス分野での有用性を示した。
• DPP 事後分布からのサンプリングにより不確実性の定量化が可能となり、OMP が失敗するような多モーダル事後分布の問題に対しても有効な解決策を提供する。
• SVD を用いたサンプリングと確率的勾配更新を用いることで、アルゴリズムは安定して収束するが、カーネル行列の条件数に敏感であることが判明した。