[論文レビュー] Integrative Multi-View Reduced-Rank Regression: Bridging Group-Sparse and Low-Rank Models

Gen Li, Xiaokang Liu+1 more|arXiv (Cornell University)|Jul 26, 2018

Sparse and Compressive Sensing Techniques参考文献 39被引用数 3

ひとこと要約

本稿では、複数の高次元予測子ビューを一括してモデル化し、各ビュー固有の低ランク係数行列を用いて教師ありの潜在特徴抽出を可能にする凸法である統合的低ランク回帰（iRRR）を提案する。グループスパース性と低ランク構造を複合核ノルムペナルティにより橋渡し、グループスパース法や低ランク法よりも高速な収束を達成する。理論的オラクル境界と、シミュレーションおよび加齢研究データにおける実証的検証を併記する。

ABSTRACT

Multi-view data have been routinely collected in various fields of science and engineering. A general problem is to study the predictive association between multivariate responses and multi-view predictor sets, all of which can be of high dimensionality. It is likely that only a few views are relevant to prediction, and the predictors within each relevant view contribute to the prediction collectively rather than sparsely. We cast this new problem under the familiar multivariate regression framework and propose an integrative reduced-rank regression (iRRR), where each view has its own low-rank coefficient matrix. As such, latent features are extracted from each view in a supervised fashion. For model estimation, we develop a convex composite nuclear norm penalization approach, which admits an efficient algorithm via alternating direction method of multipliers. Extensions to non-Gaussian and incomplete data are discussed. Theoretically, we derive non-asymptotic oracle bounds of iRRR under a restricted eigenvalue condition. Our results recover oracle bounds of several special cases of iRRR including Lasso, group Lasso and nuclear norm penalized regression. Therefore, iRRR seamlessly bridges group-sparse and low-rank methods and can achieve substantially faster convergence rate under realistic settings of multi-view learning. Simulation studies and an application in the Longitudinal Studies of Aging further showcase the efficacy of the proposed methods.

研究の動機と目的

• 予測モデリングにおいて、各ビューの予測子が集団的に作用するが、関連するビューのサブセットのみが関連しているような多視点データに対して対処すること。
• 高次元予測子を伴う多変量回帰に対して、グループスパースと低ランクモデリングを統合する包括的フレームワークを構築すること。
• 各ビュー固有の低ランク係数行列を通じて、各ビューからの教師ありの潜在特徴抽出を可能にすること。
• 制限固有値条件の下で非漸近的オラクル境界を確立し、理論的性能保証を提供すること。
• より広範な適用性を得るため、非ガウス分布および欠損データ設定への拡張を図ること。

提案手法

• 各予測子ビューごとに固有の低ランク係数行列を有する統合的低ランク回帰（iRRR）モデルを提案する。
• 各ビュー内での低ランク構造と、ビュー間でのグループスパース性を促進するために、凸な複合核ノルムペナルティを用いる。
• 罰則付き尤度問題の効率的最適化に、交替方向乗数法（ADMM）を採用する。
• 制限固有値条件の下で理論的オラクル境界を導出し、Lasso、グループLasso、核ノルム回帰の既知の境界を一般化する。
• 適切な尤度関数と補完戦略を用いて、非ガウス応答および欠損データ設定へのフレームワークの拡張を実施する。
• 各ビューの係数行列を低ランク成分として扱い、各ビュー内での予測子の集団的寄与を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グループスパースでない集団的寄与を持つ複数の高次元予測子ビューを効果的にモデル化できる包括的回帰フレームワークは存在するか？
• RQ2 多視点学習における凸最適化フレームワークに、低ランクとグループスパース構造を同時に埋め込む方法は何か？
• RQ3 現実的な高次元条件の下で、このようなモデルに対してどのような理論的性能保証を確立できるか？
• RQ4 提案手法は、既存のグループスパース法や低ランク法と比較して、より高速な収束率を達成するか？
• RQ5 非ガウス分布および欠損観測を持つ実世界データにおいて、この手法の性能はどの程度か？

主な発見

• 実際の多視点学習設定下で、Lasso、グループLasso、核ノルムペナルティ回帰と比較して、iRRR手法はより高速な収束率を達成する。
• 理論的分析により、制限固有値条件の下で非漸近的オラクル境界を確立し、特殊ケースの既知の境界を一般化する。
• Lasso、グループLasso、低ランク回帰のオラクル境界が特別なケースとして回復されることから、理論的堅牢性が確認される。
• シミュレーション研究により、多様な多視点構成において、予測精度と変数選択性能の両方が向上することが示された。
• 縦断的加齢研究への応用により、集団的効果を持つ関連する多視点予測子を同定する手法の実用的有用性が確認された。
• 非ガウス分布および欠損データへの拡張により、安定した性能が得られ、実世界への適用性が向上した。