[論文レビュー] Boosted Sparse and Low-Rank Tensor Regression

Lifang He, Kun Chen+3 more|arXiv (Cornell University)|Nov 3, 2018

Tensor decomposition and applications被引用数 20

ひとこと要約

本稿では、分割統治戦略を用いて係数テンソルをスパースなユニットランク成分に分解し、段階的推定手順により全正則化パスを効率的にトレースする、ブーストドスパースかつ低ランクテンソル回帰モデルを提案する。この手法は、実データおよび合成データにおいて優れた予測精度、高いスパarsity、計算効率性を達成する。

ABSTRACT

We propose a sparse and low-rank tensor regression model to relate a univariate outcome to a feature tensor, in which each unit-rank tensor from the CP decomposition of the coefficient tensor is assumed to be sparse. This structure is both parsimonious and highly interpretable, as it implies that the outcome is related to the features through a few distinct pathways, each of which may only involve subsets of feature dimensions. We take a divide-and-conquer strategy to simplify the task into a set of sparse unit-rank tensor regression problems. To make the computation efficient and scalable, for the unit-rank tensor regression, we propose a stagewise estimation procedure to efficiently trace out its entire solution path. We show that as the step size goes to zero, the stagewise solution paths converge exactly to those of the corresponding regularized regression. The superior performance of our approach is demonstrated on various real-world and synthetic examples.

研究の動機と目的

• 高次元データにおける複雑なマルチウェイ特徴依存関係を捉える解釈可能で単純なテンソル回帰モデルのニーズに対応すること。
• 既存のスパースかつ低ランクテンソルモデルが、係数テンソル全体にスパarsityを課すのではなく、その構造的成分にスパarsityを課すという制限を克服すること。
• 問題をスパースなユニットランク回帰サブプロブレムの系列に分解することで、テンソル回帰の計算を効率化すること。
• 各低ランク成分が特徴量とアウトカムを結ぶ明確でスパースなパスに対応することにより、モデルの解釈性を向上させること。

提案手法

• 係数テンソルの各ユニットランク成分がスパースであるように制約を課したCANDECOMP/PARAFAC（CP）分解を用いてテンソル回帰を定式化する。
• 全テンソル回帰問題を複数のスパースユニットランクテンソル回帰（SURF）サブプロブレムに還元する分割統治戦略を適用する。
• 各SURF問題の全解パスを、各ステップで完全最適化を実行せずに効率的にトレースする段階的推定手順を開発する。
• ステップサイズがゼロに近づくにつれて、段階的解パスが対応する正則化回帰の解パスに正確に収束することを証明する。
• 各ユニットランク成分にℓ₁-ノルム正則化を適用し、成分レベルでのスパarsityを強制することで、解釈性を向上させる。
• 全成分の解パスをブースティングに類似た反復的精錬プロセスで統合し、全低ランクかつスパースな係数テンソルを再構築する。

実験結果

リサーチクエスチョン

• RQ1 個々のユニットランク成分レベルにスパarsityを課えるテンソル回帰モデルは、係数テンソル全体に正則化を課えるモデルよりも、解釈性および予測精度において優れているか？
• RQ2 高次元テンソル回帰問題の計算コストを、解の品質とスパarsityを維持したまま低減する方法は何か？
• RQ3 スパースユニットランクテンソル回帰に対する段階的推定手順は、ステップサイズが小さくなるにつれて、正則化問題の最適解に収束するか？
• RQ4 本手法は、実世界および合成データセットにおいて、既存のスパースかつ低ランクテンソル回帰モデルと比較して、性能および効率性に優れているか？

主な発見

• DTIおよびPPMIデータセットにおいて、提案手法SURFは全テスト手法の中で最小の平均二乗誤差（RMSE）を達成し、統合RMSEは2.78 ± 0.29であった。これはLASSO、ENet、Remurs、GLTRMを顕著に上回った。
• SURFは係数推定において最高のスパarsityを達成し、統合データセットにおける平均スパarsityは0.99であった。これは、ほぼすべての係数エントリがゼロであることを示し、解釈性を高める。
• 実行時間の観点でも最も速く、統合データセットで平均6.2分であった。これはGLTRMの800分以上、ACSの463分を大きく下回った。
• 対応t検定の結果、SURFのRMSEはRemursおよびGLTRMよりも顕著に低く、スパarsityも顕著に高いことが確認され、統計的に優位であることが示された。
• 段階的プロシージャーは、ステップサイズがゼロに近づくにつれて、真の解パスにうまく近づくことを確認し、理論的基盤の妥当性を裏付けた。
• 240×175×176のサイズのMRI画像においても、SURFの実行時間は他の手法と比べて著しく低く、大規模神経画像データへのスケーラビリティと効率性を確認した。