[論文レビュー] Tensor machines for learning target-specific polynomial features

Jiyan Yang, Alex Gittens|arXiv (Cornell University)|Apr 7, 2015

Tensor decomposition and applications参考文献 19被引用数 7

ひとこと要約

この論文では、カーネルに由来する多項式の低ランクテンソル分解を最適化することで、ターゲット固有の多項式特徴量を学習するためのテンソルマシン（TMs）を提案する。ランダム特徴マップとは異なり、TMsは情報量の多い少数の特徴量を適応的に選択し、実世界のデータセットにおいて顕著に少ないパラメータ数と高速な学習時間を実現しながら、優れた精度を達成する。

ABSTRACT

Recent years have demonstrated that using random feature maps can significantly decrease the training and testing times of kernel-based algorithms without significantly lowering their accuracy. Regrettably, because random features are target-agnostic, typically thousands of such features are necessary to achieve acceptable accuracies. In this work, we consider the problem of learning a small number of explicit polynomial features. Our approach, named Tensor Machines, finds a parsimonious set of features by optimizing over the hypothesis class introduced by Kar and Karnick for random feature maps in a target-specific manner. Exploiting a natural connection between polynomials and tensors, we provide bounds on the generalization error of Tensor Machines. Empirically, Tensor Machines behave favorably on several real-world datasets compared to other state-of-the-art techniques for learning polynomial features, and deliver significantly more parsimonious models.

研究の動機と目的

• 適応的でないランダム特徴マップでは、妥当な精度を得るための数千もの特徴量を必要とするという非効率性に対処する。
• ターゲット関数に特化した、少数の明示的な多項式特徴量を学習する手法を開発する。
• 多項式カーネルを効率的に表現できる低ランクテンソル分解に基づく仮説クラスを定式化する。
• 従来のランダム特徴マップおよびカーネル手法と比較して、より優れた一般化性能と計算効率を達成する。

提案手法

• 多項式とテンソルの関係を活用し、多項式特徴量を低ランクテンソル分解としてモデル化する。
• カールとカーニックのランダム特徴フレームワークから導かれる制限付き仮説クラスを、ターゲット固有の方法で最適化する。
• 隠れテンソルに対応する低ランク近似を学習するために正則化最適化を用いる。
• スケーラブルな学習を実現するため、TM-Batch（バッチ最適化）およびTM-SFO（確率的1次最適化）の2つのソルバーを実装する。
• 学習目的関数を、低ランクテンソル分解における正則化された経験的リスクの最小化として定式化する。
• 次数qのテンソルマシンでランクr_TMの近似を用いる場合、1イテレーションあたりO(ndq²r_TM)の計算コストを確保する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット固有の特徴選択アプローチは、モデルの簡潔さと精度の面で、ターゲットに依存しないランダム特徴マップを上回ることができるか？
• RQ2 低ランクテンソル仮説クラス上で最適化することで、ランダム特徴マップと比較して一般化誤差の境界が改善されるか？
• RQ3 ランクパラメータrがテンソルマシンのテスト誤差と収束に与える影響は何か？
• RQ4 確率的最適化を用いることで、大規模かつメモリに収まらないデータセットに対してもテンソルマシンは効率的にスケーリングできるか？
• RQ5 CRAFTMaps やカーネルリッジ回帰といった最先端手法と比較して、テンソルマシンの時間-精度トレードオフはどのように異なるか？

主な発見

• テンソルマシンは、1データセットあたり最大72dのパラメータで十分であり、CRAFTMapsの400d以上を大幅に下回りながらも、より低い誤差を達成した。
• すべてのデータセットにおいて、TMソルバーは1次元特徴量（rank-one）を1度の次数あたりr=5未満で使用した。これは、極めて高いモデルの簡潔さを示している。
• Censusデータセット（q=2）では、r≥3でテスト誤差が頭打ちとなり、中程度のランクを超えると利得が著しく減少することが示された。
• Sliceデータセット（q=5）では、TMsはKRRと比較してほぼ2倍の低い誤差を達成し、TM-SFOは優れたスケーラビリティを示した。
• TM-SFOの学習時間はデータセットサイズにほぼ線形に増加したが、CRAFTMapsの学習時間は超線形に増加した。
• TM-SFOのテスト誤差は500,000件の学習点まで減少を続けたのに対し、CRAFTMapsの誤差は初期に飽和した。これは、適応的利点が顕著に現れていることを示している。