[論文レビュー] Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality

Vikas Sindhwani, Hà Quang Minh+1 more|arXiv (Cornell University)|Oct 17, 2012

Sparse and Compressive Sensing Techniques参考文献 38被引用数 11

ひとこと要約

本稿では、高次元非線形多変量回帰およびグランジャ因果関係のためのスケーラブルで固有値分解を不要とする行列値カーネル学習フレームワークを提案する。入力および出力カーネル成分を不正確な解法器を用いて共同最適化することで、一般化された複数カーネル学習アプローチを提供し、時系列におけるスパースで解釈可能な因果推論を可能にする。実証的に、予測性能の向上と遺伝子発現データにおける生物学的に意味のある因果グラフの提示により、有効性が裏付けられている。

ABSTRACT

We propose a general matrix-valued multiple kernel learning framework for high-dimensional nonlinear multivariate regression problems. This framework allows a broad class of mixed norm regularizers, including those that induce sparsity, to be imposed on a dictionary of vector-valued Reproducing Kernel Hilbert Spaces. We develop a highly scalable and eigendecomposition-free algorithm that orchestrates two inexact solvers for simultaneously learning both the input and output components of separable matrix-valued kernels. As a key application enabled by our framework, we show how high-dimensional causal inference tasks can be naturally cast as sparse function estimation problems, leading to novel nonlinear extensions of a class of Graphical Granger Causality techniques. Our algorithmic developments and extensive empirical studies are complemented by theoretical analyses in terms of Rademacher generalization bounds.

研究の動機と目的

• 高次元多変量回帰におけるベクトル値カーネル手法の計算不能性に対処し、行列値カーネルのスケーラブルな学習を可能にする。
• ベクトル値再生ヒルバート空間（RKHS）の辞書におけるミックスノルム正則化子を用いた構造的スパarsityをサポートするフレームワークを構築する。
• 高次元時系列におけるスパース関数推定問題への帰着により、非線形グランジャ因果関係推定を可能にする。
• 提案されたベクトル値仮説集合に対するラデマッハ複雑度境界を通じた理論的保証を提供する。
• 時系列のマイクロアレイデータから生物学的に妥当な遺伝子調節ネットワークを同定することで、計算生物学におけるフレームワークの有効性を示す。

提案手法

• ミックスノルム正則化子を用いてスパarsityと構造的学習を誘導する、ベクトル値RKHSの辞書を用いた一般化された行列値複数カーネル学習フレームワークを提案する。
• スカラー入力カーネルと正定値出力行列の組み合わせからなる分離可能な行列値カーネルに注目し、ユニバーサル近似とスケーラビリティを実現する。
• 線形方程式系に対する共役勾配法と高速なスパース半定値計画法ソルバーの2つの不正確な解法器を統合し、入力および出力カーネル成分の共同最適化を実現するスケーラブルなアルゴリズムを開発する。
• 内側の部分問題に対して収束保証があるブロック座標降下戦略を採用し、高価な固有値分解を回避する。
• カーネル重みのスパarsityが時系列における因果関係に対応する新しい定式化を導入し、非線形グラフィカルグランジャ因果関係を可能にする。
• 仮説空間に対するラデマッハ複雑度境界を導出することで、ミックスノルム正則化付きのベクトル値複数カーネル学習への一般化理論の拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 行列値カーネルを用いて、高次元非線形多変量回帰のためのスケーラブルで汎用的なフレームワークを開発できるか？
• RQ2 固有値分解を回避しつつ、入力および出力カーネル成分の効率的共同最適化は可能か？
• RQ3 カーネル結合における構造的スパarsityは、特に非線形設定下において、時系列における解釈可能な因果推論を可能にするか？
• RQ4 ミックスノルム正則化付きのベクトル値複数カーネル学習に対して、どのような理論的一般化境界を確立できるか？
• RQ5 このフレームワークは、高次元時系列オミクスデータにおいて生物学的に意味のある因果関係を明らかにできるか？

主な発見

• 提案されたアルゴリズムは、時系列データにおいて優れた予測性能を達成し、入力および出力カーネル学習を併用する非線形モデルが、35の機能的遺伝子群において最小のホールドアウトRMSEを達成した。
• 非線形モデルは、ドーパミンの遺伝子ネットワークにおいてヘリカーゼ活性が中心的な因果的ドライバーであることを的確に同定したが、線形モデルではその関係を捉えられなかった。
• 線形モデルはリピッド結合と膜関連機能の間の誤った因果関係を推定したが、非線形モデルはこれらを非折りたたみタンパク質結合およびATPアーゼ活性と正しく関連づけた。
• 出力カーネル行列の推定により、分子シャペロン、ATPアーゼ活性、非折りたたみタンパク質結合の間の生物学的に妥当なグループ内依存関係が明らかになった。
• 不正確な解法器を用いたことで、先行研究で使用された計算コストの高い固有値分解を回避し、スケーラビリティが実証された。
• ラデマッハ複雑度境界が導出され、提案されたベクトル値複数カーネル学習設定における一般化の理論的根拠が提供された。