[論文レビュー] Scalable Nonlinear Learning with Adaptive Polynomial Expansions

Alekh Agarwal, Alina Beygelzimer+3 more|arXiv (Cornell University)|Oct 2, 2014

Neural Networks and Applications参考文献 27被引用数 5

ひとこと要約

本論文は、スケーラブルなオンラインアルゴリズムであるAPPLE（Adaptive Polynomial Expansions Learning）を提案する。この手法は多項式時間内で高次相互作用特徴を適応的に学習し、線形モデルに比べて非線形表現学習を顕著に改善する。学習された重みに基づいて特徴集合を動的に拡張することで、計算コストのわずかな増加で優れたテスト誤差を達成し、大規模データセットにおいて二次および三次の特徴拡張といった強力なベースラインを上回る。

ABSTRACT

Can we effectively learn a nonlinear representation in time comparable to linear learning? We describe a new algorithm that explicitly and adaptively expands higher-order interaction features over base linear representations. The algorithm is designed for extreme computational efficiency, and an extensive experimental study shows that its computation/prediction tradeoff ability compares very favorably against strong baselines.

研究の動機と目的

• 線形モデルと同等の学習速度を維持しながら統計的性能を向上させる、計算効率の高いスケーラブルな非線形表現学習アルゴリズムの設計。
• 特に高次元またはスパースなデータに対して、明示的多項式拡張法の高い計算コストの問題に取り組むこと。
• 学習中の重みに従って相互作用特徴を適応的に選択・追加する手法の開発。固定または非適応的拡張とは対照的である。
• 適応的特徴拡張が、非適応的多項式拡張およびカーネルベースの手法と比較して、計算時間／予測性能のトレードオフにおいて優れていることを示すこと。
• レグレットバウンドによる理論的裏付けと、多様で大規模なデータセットにおける実験的検証の提供。

提案手法

• APPLEは、基本線形特徴と動的に追加される高次相互作用項を含む拡大する特徴空間上で確率的勾配降下法（SGD）を用いる。
• アルゴリズムは、その重みの大きさに基づいて、予測誤差低減に最も寄与する特徴を適応的に選択する。
• 特徴拡張は親単項式に基づく：重みが顕著に大きな親特徴のみが、高次項への拡張の対象とされ、無駄な計算を削減する。
• すべての組み合わせを全検索するのを避けるために、重みに基づくヒューリスティックを用いてどの相互作用項を含めるかを決定する。
• 分散環境における繰り返し平均化とAllReduceを活用した並列化されたAPPLEの実装により、数億例のデータセットでの学習が可能になった。
• 30のデータセットで相対誤差と相対時間の指標を用いて、線形、二次、三次ベースラインと比較して評価された。

実験結果

リサーチクエスチョン

• RQ1 計算コストのわずかな増加で、線形モデルを上回る統計的性能を達成できるか？
• RQ2 大規模な設定において、適応的かつオンラインで多項式相互作用特徴を選択することは、非適応的または固定次数の拡張を上回れるか？
• RQ3 ラベル情報を特徴拡張に組み込むことで、非教師あり特徴生成手法よりも優れた性能が得られるか？
• RQ4 690M例のような大規模データセットにスケーラブルに適用可能か？ その際、計算効率と予測精度を維持できるか？
• RQ5 計算時間と精度のトレードオフにおいて、適応的特徴拡張機構はカーネル法やランダム特徴埋め込みと比較してどうか？

主な発見

• 非ゼロ特徴数が例あたり上位6件中の3件において、APPLEは線形モデルおよび非適応的多項式ベースラインよりも顕著なテスト誤差の改善を達成し、統計的性能はしばしば最良のベースラインに匹敵またはそれを上回った。
• より大きなデータセットでは、APPLEはテスト誤差において二次ベースラインを常に上回り、かつ著しく高速であった。訓練時間はしばしば二次ベースラインの半分未満であった。
• 三次ベースラインは、大部分のデータセットで計算コストが膨大すぎて実行不可能であった。これにより、APPLEの適応的アプローチのスケーラビリティの優位性が浮き彫りになった。
• 690M例の巨大な分散環境（Hadoopに保存）において、BIGRAM特徴を用いたAPPLEはAUC 0.81796を達成し、線形ベースラインを0.00132上回った。計算時間はわずか7378秒（2.1時間未満）であった。
• 並列化されたAPPLEは、巨大なHadoop保存データセット上で正常に学習が完了したが、完全な二次ベースラインは1日以上かかっても完了しなかった。これにより、実用的なスケーラビリティが実証された。
• 例ごとに特徴の追加を検証する「厳選型」のアルゴリズムは、計算コストが著しく高いため却下された。これにより、APPLEの親ベースの拡張戦略の効率性が裏付けられた。