[論文レビュー] Semi-Orthogonal Multilinear PCA with Relaxed Start

Qiquan Shi, Haiping Lu|arXiv (Cornell University)|Apr 30, 2015

Gait Recognition and Analysis参考文献 21被引用数 4

ひとこと要約

本稿では、半正規直交マルチラインスPCAと緩和開始戦略（SO-MPCA-RS）を提案する。これは、テンソルベースの次元削減手法であり、正規直交性を1つのモードにのみ強制することで、完全正規直交手法よりも高い分散の捕捉とより多くの特徴抽出を実現する。緩和開始戦略により初期射影ベクトルを固定することで一般化性能が向上し、顔認識および歩行認識データセットで最先端の性能を達成し、競合手法と比較して最高ランク5認識率が最大17.26%高い。

ABSTRACT

Principal component analysis (PCA) is an unsupervised method for learning low-dimensional features with orthogonal projections. Multilinear PCA methods extend PCA to deal with multidimensional data (tensors) directly via tensor-to-tensor projection or tensor-to-vector projection (TVP). However, under the TVP setting, it is difficult to develop an effective multilinear PCA method with the orthogonality constraint. This paper tackles this problem by proposing a novel Semi-Orthogonal Multilinear PCA (SO-MPCA) approach. SO-MPCA learns low-dimensional features directly from tensors via TVP by imposing the orthogonality constraint in only one mode. This formulation results in more captured variance and more learned features than full orthogonality. For better generalization, we further introduce a relaxed start (RS) strategy to get SO-MPCA-RS by fixing the starting projection vectors, which increases the bias and reduces the variance of the learning model. Experiments on both face (2D) and gait (3D) data demonstrate that SO-MPCA-RS outperforms other competing algorithms on the whole, and the relaxed start strategy is also effective for other TVP-based PCA methods.

研究の動機と目的

• 既存のテンソルからベクトルへの射影（TVP）に基づくPCA手法には、分散の捕捉が不十分で特徴抽出が制限されるという限界があるため、これを是正すること。
• 完全正規直交アプローチよりも多くの特徴を抽出でき、捕捉される分散を最大化する新しいマルチラインスPCA手法の開発。
• 初期射影ベクトルを固定することで仮説空間を制約し、バイアスを増加させながらモデル分散を低減することで、一般化性能を向上させる緩和開始戦略の導入。
• 2次元および3次元の実世界データに対して、SO-MPCA-RSが既存のTVPベースのPCA手法を実験的に上回ることの検証。

提案手法

• テンソル射影の1つのモードにのみ正規直交制約を課す半正規直交マルチラインスPCA（SO-MPCA）を提案し、完全正規直交性よりも多くの特徴と高い分散捕捉を実現。
• ベクトル化を経ずに多次元データ（テンソル）から直接低次元特徴を学習できるテンソルからベクトルへの射影（TVP）を用いる。
• 初期射影ベクトルを一様ベクトルに固定することで、仮説空間を制限し、モデル分散を低減する緩和開始（RS）戦略を導入。
• 反復的最適化フレームワークを用い、1つのモードにおける半正規直交性を維持しながら分散を最大化し、一般化性能を向上させるためにRSを適用。
• 顔（2次元）および歩行（3次元）データに本手法を適用し、標準的な認識ベンチマークを用いて性能を評価。
• 緩和開始戦略をTROD や UMPCA などの他のTVPベースの手法に対しても拡張し、その一般効果を示した。

実験結果

リサーチクエスチョン

• RQ1 テンソル射影の1つのモードにのみ正規直交性を課すことにより、完全正規直交TVPベースPCAと比較して、より高い分散捕捉とより多くの特徴抽出が可能か？
• RQ2 初期射影ベクトルを固定する緩和開始戦略が、TVPベースのマルチラインスPCA手法における一般化性能を向上させるか？
• RQ3 2次元および3次元テンソルデータにおいて、SO-MPCA-RSは最先端のPCAベース手法と比較して認識精度で優れているか？
• RQ4 緩和開始戦略はSO-MPCAを超えて有効であり、他のTVPベースPCAアルゴリズムに対しても一貫して性能向上をもたらすか？

主な発見

• 顔データではSO-MPCA-RSがSO-MPCAと比較して平均9.97%のランク1認識率向上を達成し、歩行データではランク5認識率で17.26%の向上を示した。
• 顔認識において、SO-MPCA-RSは最良の競合手法（TROD）をランク1認識率で8.08%、ランク5認識率で1.64%上回った。
• 歩行認識において、SO-MPCA-RSはTROD-RSをランク1認識率で平均3.03%、ランク5認識率で11.07%上回った。
• 緩和開始戦略により、顔認識ではTRODが平均0.32%、UMPCAが2.15%向上し、歩行認識ではそれぞれ0.94%および5.28%向上した。
• SO-MPCA-RSはUMPCAや完全正規直交手法よりも高い分散を捕捉しており、初期化が固定されているため最初のEMPは後のものよりも分散が小さい。
• SO-MPCA-RSは数回の反復で収束することが示され、緩和開始フレームワーク下での効率的な最適化が可能であることがわかった。