[論文レビュー] Scalable Interpretable Multi-Response Regression via SEED

Mohammad Taha Bahadori, Zemin Zheng+2 more|arXiv (Cornell University)|Aug 12, 2016

Sparse and Compressive Sensing Techniques参考文献 41被引用数 6

ひとこと要約

本稿では、1回の上位r特異値分解を用いてスパースな一般化固有値問題を解くことで、同時に次元削減と変数選択を実行するスケーラブルで解釈可能な多応答回帰手法SEEDを提案する。SEEDは、合成データおよび実世界のデータ（270人のユーザーを含む大規模なTwitterインフルエンスネットワーク推定タスクを含む）において、最先端の手法を上回る推定精度と高速性を達成する。

ABSTRACT

Sparse reduced-rank regression is an important tool to uncover meaningful dependence structure between large numbers of predictors and responses in many big data applications such as genome-wide association studies and social media analysis. Despite the recent theoretical and algorithmic advances, scalable estimation of sparse reduced-rank regression remains largely unexplored. In this paper, we suggest a scalable procedure called sequential estimation with eigen-decomposition (SEED) which needs only a single top-$r$ singular value decomposition to find the optimal low-rank and sparse matrix by solving a sparse generalized eigenvalue problem. Our suggested method is not only scalable but also performs simultaneous dimensionality reduction and variable selection. Under some mild regularity conditions, we show that SEED enjoys nice sampling properties including consistency in estimation, rank selection, prediction, and model selection. Numerical studies on synthetic and real data sets show that SEED outperforms the state-of-the-art approaches for large-scale matrix estimation problem.

研究の動機と目的

• スパース性と低ランク構造を併せ持つ高次元多応答回帰におけるスケーラブルで解釈可能な推定の課題に対処すること。
• スパース低ランク回帰における次元削減と変数選択を同時に実行する計算効率の良いアルゴリズムの開発。
• ややきつい正則化条件のもとで推定の一貫性、ランク選択、予測、モデル選択に関する理論的保証の提供。
• ソーシャルメディアインフルエンスネットワーク推定など、大規模な実世界データにおいて優れた性能を示すこと。
• スケーラビリティと解釈可能性が重要な大規模データアプリケーションにおけるスパース低ランク回帰の実用的導入を可能にすること。

提案手法

• SEEDはスパース低ランク回帰問題をスパース一般化固有値問題に変換し、逐次推定により効率的な解法を可能にする。
• 単一の上位r特異値分解を用いて、統合フレームワーク内で最適な低ランクかつスパースな係数行列を推定する。
• 左特異ベクトルの推定に2段階の簡単な手順を用いながら、スパースおよび密度のある右特異ベクトルの推定を統合する。
• 反復的正則化スキームを回避するためにスパース固有値分解技術を活用し、計算効率を向上させる。
• 従来の損失＋ペナルティフレームワークとは分離された純粋な学習手順として設計されており、スケーラビリティを向上させる。
• 逐次的二次近似と低ランク解のグリーディーな精錬を用いて、一般化線形モデルへも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 計算コストの高い反復的最適化を回避しつつ、大規模なスパース低ランク回帰に対してスケーラブルで解釈可能な手法を開発可能か？
• RQ2 提案されたSEED手法は、ややきつい正則化条件のもとで一貫性のある推定、正確なランク選択、優れた予測性能を達成するか？
• RQ3 実世界の高次元データにおいて、LN–ADMM や RCGL といった最先端手法と比較して、SEEDは精度と速度の両面で優れているか？
• RQ4 真のインフルエンスネットワークが部分的にしか観測できない状況でも、SEEDはソーシャルメディアデータにおいて真の構造をどれほど正確に回復できるか？
• RQ5 SEEDフレームワークは一般化線形モデルへ拡張可能であり、統計的・計算的効率性を維持できるか？

主な発見

• SEEDはTwitterインフルエンスネットワークデータにおいて、LN–ADMM や RCGL よりも顕著に優れたグラフ回復精度を達成し、ランク4で最高のAUCを記録した。
• SEEDはTwitterデータセットで2.83秒の実行時間を達成したのに対し、LN–ADMMは127.34秒、RCGLは256.87秒であり、顕著な高速化が実現された。
• 単変量回帰設定において、最小最大誤差境界に一致する一貫性のある推定と予測性能を達成した。
• 解のランクが上昇するにつれて一時的に精度が向上するが、すぐに飽和する傾向を示しており、少数の主要要因を持つ低ランク構造がモデリングに十分であることが示唆された。
• 真のインフルエンスネットワークが部分的にしか観測できない状況でも、リツイートネットワークを代替真値として用いることで、SEEDは高い精度を維持した。
• 理論的分析により、ややきつい正則化条件のもとでSEEDが推定の一貫性、ランク選択、予測、モデル選択において一貫性を示すことが確認された。