[論文レビュー] Kernelized Support Tensor Train Machines

Cong Chen, Kim Batselier+2 more|arXiv (Cornell University)|Jan 2, 2020

Tensor decomposition and applications参考文献 30被引用数 4

ひとこと要約

本稿では、テンソルトレイン（TT）分解を活用して多次元データにおけるカーネル法を可能にする、最初のカーネル化されたサポートテンソルトレインマシン（K-STTM）を提案する。特徴空間におけるTT構造を保持するとともに、各テンソルモードごとに異なるカーネル関数を許容することで、MNIST、CIFAR-10、fMRIデータセットにおいて、少数サンプル・高次元画像分類タスクで、線形テンソル手法や標準SVMを上回る優れた性能を達成する。

ABSTRACT

Tensor, a multi-dimensional data structure, has been exploited recently in the machine learning community. Traditional machine learning approaches are vector- or matrix-based, and cannot handle tensorial data directly. In this paper, we propose a tensor train (TT)-based kernel technique for the first time, and apply it to the conventional support vector machine (SVM) for image classification. Specifically, we propose a kernelized support tensor train machine that accepts tensorial input and preserves the intrinsic kernel property. The main contributions are threefold. First, we propose a TT-based feature mapping procedure that maintains the TT structure in the feature space. Second, we demonstrate two ways to construct the TT-based kernel function while considering consistency with the TT inner product and preservation of information. Third, we show that it is possible to apply different kernel functions on different data modes. In principle, our method tensorizes the standard SVM on its input structure and kernel mapping scheme. Extensive experiments are performed on real-world tensor data, which demonstrates the superiority of the proposed scheme under few-sample high-dimensional inputs.

研究の動機と目的

• 標準SVMがテンソルデータを直接処理する際の制限を解決すること、特に少数サンプル・高次元設定下での課題に焦点を当てる。
• ベクトル化アプローチによる過学習と計算非効率性を回避するため、テンソルデータの内在的なマルチウェイ構造を活用する。
• 特徴空間におけるテンソルトレイン（TT）構造を保持しつつ、カーネルの一貫性と情報保持を維持するカーネル化フレームワークを開発すること。
• テンソルモードごとに柔軟にカスタマイズ可能なカーネル関数を導入し、各モードにおける異種のデータ特性を捉えること。
• 少数データ環境下での線形テンソル学習法やベクトルベースのSVMと比較して、カーネル化テンソル手法の優位性を実証すること。

提案手法

• 高次元特徴空間におけるテンソルトレイン構造を維持するTTベースの特徴写像を提案し、非線形分類を可能にする。
• 2つのTT整合的カーネル構築手法を設計：1つは内積構造を保持し、もう1つは情報保持を最大化する。
• 各テンソルモードに独立して異なるカーネル関数（例：RBF、多項式、線形）を適用可能にし、モード固有のデータ特性を活用する。
• TTベースの演算を用いてカーネル行列を構築することで、TT分解と互換性を持たせるとともに計算コストを低減する。
• TTベースのカーネルをサポートベクターマシンフレームワークに統合し、カーネル化されたサポートテンソルトレインマシン（K-STTM）を構築する。
• 交互最適化と低ランクTT近似を用いて、高次元データへスケーリングを図りつつ、モデルの効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 テンソルトレイン分解に基づくカーネル化学習フレームワークを構築することは可能か？ これにより、構造的および情報的性質を保持したまま多次元データを処理できるか？
• RQ2 異なるテンソルモードに異なるカーネル関数を適用することで、すべてのモードに同一のカーネルを適用する場合と比較して分類性能が向上するか？
• RQ3 少数サンプル・高次元条件下において、提案手法K-STTMは線形テンソル学習モデルや標準SVMと比較して、精度と頑健性の点で優れているか？
• RQ4 TTベースのカーネル構築は、カーネルの一貫性と情報保持を維持しつつ、非線形分類を可能にするか？
• RQ5 実世界の画像データセットにおける、モード固有のカーネル選択が分類性能に与える影響は何か？

主な発見

• fMRIデータセットの全被験者において、K-STTM-ProdがSVM、3D CNN、線形テンソル手法を上回る最高の分類精度を達成した。
• MNISTデータセットでは、K-STTM-Prodは1クラスあたり100サンプルの学習データでテスト精度98.2％を達成し、線形モデルや標準SVMを顕著に上回った。
• CIFAR-10では、空間モードにRBF、色モードに線形／多項式カーネルを適用する設定が、ベースラインのRBF-RBF-RBF設定と比較して10組のクラスペア中9組で分類精度を向上させた。
• TTベースのカーネル構築により、情報保持が維持され、TT内積と整合性を保ったまま安定的かつ効率的なカーネル計算が可能になった。
• 従来の手法（DuSKや3D CNN）が高次元性とサンプル不足のため失敗するような低データ環境でも、本手法は頑健性を示した。
• 各モードに異なるカーネルを適用できる能力が、明確な性能向上をもたらし、テンソルベース学習におけるモード固有モデリングの重要性を裏付けた。