[論文レビュー] Tensor Valued Common and Individual Feature Extraction: Multi-dimensional Perspective

Ilia Kisil, Giuseppe G. Calvi+1 more|arXiv (Cornell University)|Nov 1, 2017

Tensor decomposition and applications参考文献 19被引用数 3

ひとこと要約

本論文は、CPDおよびLL1テンソル分解を用い、非負制約を課したテンソルベースの枠組みを提案する。この枠組みにより、マルチブロックデータから共通特徴および個別特徴を抽出する。データのマルチリニア構造を活用することで次元削減が達成され、分類精度が向上する。SVMを用いたORL顔データセットでは最大94.7%の精度を達成し、元のデータおよび行列ベースの手法を著しく上回る。

ABSTRACT

A novel method for common and individual feature analysis from exceedingly large-scale data is proposed, in order to ensure the tractability of both the computation and storage and thus mitigate the curse of dimensionality, a major bottleneck in modern data science. This is achieved by making use of the inherent redundancy in so-called multi-block data structures, which represent multiple observations of the same phenomenon taken at different times, angles or recording conditions. Upon providing an intrinsic link between the properties of the outer vector product and extracted features in tensor decompositions (TDs), the proposed common and individual information extraction from multi-block data is performed through imposing physical meaning to otherwise unconstrained factorisation approaches. This is shown to dramatically reduce the dimensionality of search spaces for subsequent classification procedures and to yield greatly enhanced accuracy. Simulations on a multi-class classification task of large-scale extraction of individual features from a collection of partially related real-world images demonstrate the advantages of the "blessing of dimensionality" associated with TDs.

研究の動機と目的

• 大規模かつマルチブロックデータにおける次元の呪いを、テンソル構造を活用することで緩和すること。
• テンソル分解を用いてマルチブロックデータから物理的に意味のある共通および個別特徴を抽出すること。
• 低ランクテンソル近似によりデータの分散と次元数を低減することで分類性能を向上させること。
• 因子行列に非負制約を課すことにより、数学的取り扱いやすさと解釈可能性を確保すること。
• 実世界の分類タスクにおいて、従来の行列ベースの手法に比べてテンソルベースの特徴抽出が優れていることを実証すること。

提案手法

• 本手法は、マルチリニアランク分解（LL1）とCANDECOMP/PARAFAC（CPD）を用い、テンソル構造データから共通および個別特徴部分空間を分離する。
• 特に画像データにおいて物理的解釈可能性を保つために、モード3の因子行列に非負制約を課す。
• テンソル分解における外積構造を活用して、複数の観測間の共有情報モデルを構築する。
• 物理的制約を強制するために、非負最小二乗最適化を用いた変形版の逐次最小二乗（ALS）アルゴリズムをCPDおよびLL1に適応する。
• データは、同じ被験者の画像を第3モードに沿って積み上げることでテンソル化され、3次元テンソルを形成して統合的分析を実施する。
• 分類は、標準的なモデル（SVM、NN、QD、cKNN）を用いて抽出された個別特徴に対して実施され、公平性を確保するため、元のテスト画像を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてテンソル分解を用いてマルチブロックデータから共通および個別特徴を効果的に分離できるか？
• RQ2 外積は、テンソル因子分解と物理的に意味のある特徴抽出を結びつける役割を果たすか？
• RQ3 因子行列に非負制約を課すことで、画像特徴抽出における解釈可能性と性能がどのように向上するか？
• RQ4 行列ベースの手法に比べて、テンソルベースの特徴抽出は次元削減および分類精度向上の観点でどの程度優れているか？
• RQ5 本手法は、入力次元が均一でない場合でも、さまざまなデータ構造および分類モデルに一般化可能か？

主な発見

• LL1分解を用いて抽出した個別特徴をSVMで分類したところ、94.7%の分類精度を達成し、元のデータ（83.9%）を著しく上回った。
• ニューラルネットワーク（NN）の分類精度は、元のデータでは4.35%であったが、抽出された個別特徴を用いることで92.2%に向上し、過学習の低減が示された。
• LL1ベースの手法が全分類器において最高の精度を示し、判別力のある特徴抽出の有効性が裏付けられた。
• 非負制約により物理的解釈可能性が向上し、抽出特徴の分散が低減し、モデルの一般化性能が向上した。
• 任意の順序のテンソルに適用可能であり、観測値が同じモードに連結されていれば、多様なデータタイプに柔軟に応用可能である。
• 結果から、テンソル分解における「次元の豊かさの利点」が確認された。高次元構造により、より効率的かつ正確な特徴抽出が可能になった。