[論文レビュー] Learning Single Index Models in High Dimensions

Ravi Ganti, Nikhil Rao+2 more|arXiv (Cornell University)|Jun 30, 2015

Machine Learning and Algorithms参考文献 17被引用数 27

ひとこと要約

本稿では、n ≪ d である高次元設定における単一インデックスモデル（SIMs）の学習のための計算的・統計的に効率的なアルゴリズムとして、SILO、iSILO、ciSILOを提案する。これらの手法は、lasso型最適化とキャリブレートされた損失関数を用いて、スパースな重みベクトルと単調かつリプシッツ連続なリンク関数を同時に推定する。次元に関する多対数的依存性を示す過剰リスクバウンドを達成し、実世界の高次元データセットにおいてGLMや低次元SIM手法を上回る性能を示す。

ABSTRACT

Single Index Models (SIMs) are simple yet flexible semi-parametric models for classification and regression. Response variables are modeled as a nonlinear, monotonic function of a linear combination of features. Estimation in this context requires learning both the feature weights, and the nonlinear function. While methods have been described to learn SIMs in the low dimensional regime, a method that can efficiently learn SIMs in high dimensions has not been forthcoming. We propose three variants of a computationally and statistically efficient algorithm for SIM inference in high dimensions. We establish excess risk bounds for the proposed algorithms and experimentally validate the advantages that our SIM learning methods provide relative to Generalized Linear Model (GLM) and low dimensional SIM based learning methods.

研究の動機と目的

• n ≪ d である高次元設定における、実用的で理論的根拠を持つ単一インデックスモデル（SIMs）の学習のためのアルゴリズムの欠如に対処すること。
• SIMsにおいて、スパースな特徴重みと単調かつリプシッツ連続なリンク関数を同時に推定する計算効率の良い手法を開発すること。
• 提案手法の過剰リスクバウンドが次元に強く依存せず、従来の低次元SIM手法で見られる次元依存性の劣化を回避すること。
• 実世界の高次元データセットを用いた実験的妥当性の検証：反復的バージョン（iSILO、ciSILO）が、スパースなロジスティック回帰やSlisotronといった標準的手法を上回ること。

提案手法

• SILOは、非反復的でlasso型最適化を用い、二次計画法の枠組みでスパースな重みベクトル w⋆ と単調かつ1リプシッツ連続な関数 g⋆ を推定する。
• iSILOは、二乗損失関数を用いたパーセプトロン風の更新ステップを用いて w⋆ の推定値を反復的に改善し、同時にLPAVアルゴリズムで g⋆ を学習する。
• ciSILOは、元のSIM構造に適応するキャリブレートされた損失関数を用いることでiSILOを改善し、より高いロバストネスと正確性を実現する。
• LPAVアルゴリズムを用いて、データに対する最良の単調かつ1リプシッツ連続なフィットを計算し、推定されたリンク関数が単調かつリプシッツ連続であることを保証する。
• アルゴリズムはSILOの出力を初期値として用い、反復的バージョンに強い理論的保証を提供する。
• 理論的分析は集中不等式に依拠し、サブガウス型設計を仮定し、||x||₂ ≤ √d が高確率で成り立つものとする。これにより、次元dに比例するのではなく、log(d)に比例するバウンドが得られる。

実験結果

リサーチクエスチョン

• RQ1 SILOのような単純な非反復的手法は、高次元SIM学習において優れた性能を示し、理論的保証を提供できるか？
• RQ2 二乗損失関数やキャリブレートされた損失関数を用いた反復的改善は、非反復手法に比べ、高次元SIMにおける予測精度を顕著に向上させるか？
• RQ3 提案手法は次元dに関して多対数的依存性を持つ過剰リスクバウンドを達成できるか？ これにより、n ≪ d である高次元領域でも有効であるか？
• RQ4 提案手法は、実世界のデータセットにおいて、スパースなロジスティック回帰やSlisotronアルゴリズムといった標準的手法と比較して、実験的に優位性を示すか？

主な発見

• SILOの過剰リスクバウンドは Õ((s + k)log(2d)/θ · √(s/n)) と表され、次元dに関して多対数的依存性を示す。これにより、高次元設定でも有効である。
• iSILOとciSILOはSILOを上回り、全8つの実世界データセットにおいてciSILOが一貫して最小のテスト誤差を達成した。
• ciSILOは、元のSIM構造に適応するキャリブレートされた損失関数を用いることで優れた性能を発揮し、多くの場合でスパースなロジスティック回帰やSlisotronを上回った。
• 提案手法の理論的バウンドは、従来の低次元SIM手法（例：Slisotron）がd ≫ nのとき著しく性能が低下するのを回避しており、次元依存性の劣化を避ける。
• 反復的手法（iSILO、ciSILO）は非反復的SILOを著しく上回り、高次元SIM学習における改善ステップの重要性を示している。
• 最適なステップサイズのチューニングがなくても、iSILOとciSILOは競争力のある性能を示しており、提案フレームワークのロバストネスを強調している。