[論文レビュー] Matrix Product State for Feature Extraction of Higher-Order Tensors

Johann A. Bengua, Ho N. Phien+2 more|arXiv (Cornell University)|Mar 2, 2015

Tensor decomposition and applications参考文献 18被引用数 4

ひとこと要約

本論文は、高次テンソルからの特徴抽出に計算的に効率的な手法として、行列積状態（MPS）分解を提案する。逐次的特異値分解（SVD）を用いて、次数が3以下のコアテンソルを抽出することで、分類性能を向上させつつ特徴空間を縮小し、HOOIに比べて顕著な計算コストの削減を実現する。

ABSTRACT

This paper introduces matrix product state (MPS) decomposition as a computational tool for extracting features of multidimensional data represented by higher-order tensors. Regardless of tensor order, MPS extracts its relevant features to the so-called core tensor of maximum order three which can be used for classification. Mainly based on a successive sequence of singular value decompositions (SVD), MPS is quite simple to implement without any recursive procedure needed for optimizing local tensors. Thus, it leads to substantial computational savings compared to other tensor feature extraction methods such as higher-order orthogonal iteration (HOOI) underlying the Tucker decomposition (TD). Benchmark results show that MPS can reduce significantly the feature space of data while achieving better classification performance compared to HOOI.

研究の動機と目的

• 高次テンソルにおける Tucker 分解（TD）と HOOI の計算ボトル neck を解消する。これは、NP 困難な最適化と大きなコアテンソル次元のためである。
• 計算コストを最小限に抑えつつ、高次テンソルの本質的特徴を保持する次元削減技術を開発する。
• 非再帰的で SVD に依存するアプローチを用いて、多次元データから低次元コアテンソルを抽出することで、効率的なテンソル分類を実現する。
• COIL-100 や EYFB、BCI EEG データなど、多様なデータセットにおいて、MPS が HOOI よりも分類成功確率と特徴空間の縮小の両面で優れていることを実証する。

提案手法

• 逐次的 SVD を用いて、高次テンソルを混合正規化形式で表現する行列積状態（MPS）分解を適用する。
• 元のテンソルから、次元が低減された最大次数3のコアテンソルを抽出する。
• 逐次的 SVD を通じて得られる直交共通要因テンソルを用い、HOOI が要請する再帰的最適化手順を回避する。
• 分類用にコアテンソルを $Q \times \tilde{\Delta}_1 \times \tilde{\Delta}_2$（または $Q \times \tilde{\Delta}_1 \times \Delta_2 \times \tilde{\Delta}_3$）に切り詰める。ここで $\tilde{\Delta}_l < \Delta_l$ である。
• KNN-1 や線形判別分析（LDA）などの標準分類器を、縮小されたコアテンソルに適用して分類を実行する。
• 評価の公平性を保つために、訓練集合とテスト集合の間で切り詰めレベル $\tilde{\Delta}_l$ を一貫させる。

実験結果

リサーチクエスチョン

• RQ1 MPS 分解は、HOOI に比べて計算複雑性を低減しつつ、高次テンソルからの判別的特徴を効果的に抽出できるか？
• RQ2 同じ数の特徴を使用した場合、MPS は HOOI よりも高い分類成功確率を達成するか？
• RQ3 COIL-100、EYFB、BCI EEG データなど多様なデータセットにおいて、MPS の性能は HOOI と比べてどの程度優れているか？
• RQ4 MPS の SVD に依存する非再帰的構造は、分類精度を損なわずに計算コストをどの程度低減できるか？
• RQ5 コアテンソルが顕著に圧縮されても、MPS は高い分類性能を維持できるか？

主な発見

• EYFB データセットにおいて、LDA を用いた分類成功確率（CSR）は 97.32±0.89 を達成し、全テスト閾値で HOOI を上回った。
• COIL-100 データセットでは、すべての閾値 $\epsilon$ と KNN-1・LDA 分類器において、MPS が HOOI よりも高い CSR を得た。
• BCIJ EEG データセットでは、全テスト $\Delta$ 値（8 から 14）において、コアテンソルのサイズが小さくなったにもかかわらず、MPS が HOOI よりも優れた分類結果を出した。
• 特にコアテンソルが切り詰められた場合に顕著に、MPS は HOOI よりも特徴空間の縮小をより効果的に行った。
• 再帰的最適化が不要なため、MPS は顕著な計算コストの削減を達成した。
• 最小の閾値 $\epsilon$ でさえ、HOOI が大きな $\epsilon$ を使用した場合と同等の高い性能を維持した。これは、MPS のロバスト性と効率性を示している。