[論文レビュー] On Learning High Dimensional Structured Single Index Models

Nikhil Rao, Ravi Ganti+3 more|arXiv (Cornell University)|Mar 13, 2016

Statistical Methods and Inference参考文献 29被引用数 3

ひとこと要約

本稿では、スパarsity、グループスパarsity、低ランク構造などの一般構造的制約を伴う高次元単一インデックスモデル（SIMs）を学習する計算的に効率的なアルゴリズムであるCSIを提案する。重みベクトルに対する投影勾配降下法と、LPAVを用いたリーマン連続で単調な関数の学習を交互に繰り返すことで、一般化線形モデル（GLM）を上回る予測性能を達成し、単層ニューラルネットワークと同等またはそれを上回る性能を示しながらも、はるかに低い計算コストで実現する。

ABSTRACT

Single Index Models (SIMs) are simple yet flexible semi-parametric models for machine learning, where the response variable is modeled as a monotonic function of a linear combination of features. Estimation in this context requires learning both the feature weights and the nonlinear function that relates features to observations. While methods have been described to learn SIMs in the low dimensional regime, a method that can efficiently learn SIMs in high dimensions, and under general structural assumptions, has not been forthcoming. In this paper, we propose computationally efficient algorithms for SIM inference in high dimensions with structural constraints. Our general approach specializes to sparsity, group sparsity, and low-rank assumptions among others. Experiments show that the proposed method enjoys superior predictive performance when compared to generalized linear models, and achieves results comparable to or better than single layer feedforward neural networks with significantly less computational cost.

研究の動機と目的

• 特徴量の数 d がサンプル数 n よりもはるかに大きい高次元設定において、単一インデックスモデル（SIMs）を学習する課題に対処すること。
• 重みベクトル w⋆ にスパarsity、グループスパarsity、低ランク構造などの多様な構造的仮定を処理できる計算的に効率的な手法を開発すること。
• 高次元でデータが少ない状況下で、未知の非線形リンク関数 g⋆ と構造的重みベクトル w⋆ を同時に推定すること。
• スパースおよび低ランクSIM推定手法を統一的に扱う最適化手続きの下で、既存の手法を一般化するフレームワークを提供すること。

提案手法

• CSIは、重みベクトル w と非線形関数 g⋆ の推定を交互に更新する最適化スキームを採用する。
• 重みベクトル w にスパarsityやグループスパarsityなどの構造的制約を課すために、ハードスレッディングを用いた投影勾配降下法を用いる。
• 単調かつリーマン連続なリンク関数 g⋆ の推定には、LPAV（同調回帰）法を用い、データから非線形変換を学習する。
• 損失関数は未知のSIMに適合させられ、構造的仮定の下で w⋆ と g⋆ を同時に推定可能である。
• スモールアトミック基数の概念を用いることで、スパarsity、グループスパarsity、低ランク制約を統一的に一般化する。
• CSIはスケーラブルで効率的であるように設計されており、先行研究で用いられる高コストなMCMCや反復的重み付け手法を回避する。

実験結果

リサーチクエスチョン

• RQ1 特徴量の数 d がサンプル数 n よりも大きい状況において、高次元SIMを学習する計算的に効率的なアルゴリズムを設計できるか？
• RQ2 高次元設定において、未知の非線形リンク関数 g⋆ と構造的重みベクトル w⋆ を同時に推定する方法は何か？
• RQ3 1つのアルゴリズムが、スパarsity、グループスパarsity、低ランク構造といった多様な構造的仮定をSIMsで効果的に処理できるか？
• RQ4 w⋆ と g⋆ がともに未知であり、同時に学習されている状況において、CSIの収束特性はどのようなものか？
• RQ5 高次元設定において、CSIは一般化線形モデルや単層ニューラルネットワークと比較して、予測性能と計算コストの両面で優れているか？

主な発見

• CSIは、Flixster や MovieLens などの高次元データセットにおいて、一般化線形モデル（GLM）を上回る優れた予測性能を達成した。
• Flixster データセットでは、CSIのテストAUCは 0.9823 であり、LS（0.9785）や他のベースラインを上回った。
• CSIは単層フィードフォワードニューラルネットワークと同等またはそれを上回る性能を示したが、はるかに低い計算コストで実現した。
• 合成実験では、CSIの反復計算が w⋆ への ℓ2 距離を単調に減少させ、次元が高くなるにつれて収束が遅くなる傾向を示した。
• アルゴリズムは高次元ノイズに対して頑健であり、スパarsityのレベルやデータ分布の変化に対しても安定した性能を維持した。
• 実験的結果は、CSIが 1/t のサブ線形レート O(1/t) で収束するという仮説を支持しており、統計的誤差 Δ はサンプル数 n、スパarsity k、次元 d に依存する。