[論文レビュー] Learning a Robust Representation via a Deep Network on Symmetric Positive Definite Manifolds

Zhi Gao, Yuwei Wu+2 more|arXiv (Cornell University)|Nov 17, 2017

Advanced Vision and Imaging参考文献 35被引用数 5

ひとこと要約

本稿では、非線形カーネル集約層、SPD行列変換層、ベクトル化層を備えた非線形カーネル集約層を用いて、リーマン多様体上での対称正定値（SPD）行列表現に深層畳み込み特徴を統合するエンドツーエンドのディープネットワークを提案する。この手法は11の視覚分類データセットで最先端の性能を達成し、KTH-2bでは81.1%、FGVC-aircraftでは77.8%の精度を達成し、B-CNNを含む既存手法を上回っている。

ABSTRACT

Recent studies have shown that aggregating convolutional features of a pre-trained Convolutional Neural Network (CNN) can obtain impressive performance for a variety of visual tasks. The symmetric Positive Definite (SPD) matrix becomes a powerful tool due to its remarkable ability to learn an appropriate statistic representation to characterize the underlying structure of visual features. In this paper, we propose to aggregate deep convolutional features into an SPD matrix representation through the SPD generation and the SPD transformation under an end-to-end deep network. To this end, several new layers are introduced in our network, including a nonlinear kernel aggregation layer, an SPD matrix transformation layer, and a vectorization layer. The nonlinear kernel aggregation layer is employed to aggregate the convolutional features into a real SPD matrix directly. The SPD matrix transformation layer is designed to construct a more compact and discriminative SPD representation. The vectorization and normalization operations are performed in the vectorization layer for reducing the redundancy and accelerating the convergence. The SPD matrix in our network can be considered as a mid-level representation bridging convolutional features and high-level semantic features. To demonstrate the effectiveness of our method, we conduct extensive experiments on visual classification. Experiment results show that our method notably outperforms state-of-the-art methods.

研究の動機と目的

• 高次元の深層畳み込み特徴を効果的に集約して視覚表現を向上させる課題に対処すること。
• 双線形プーリングやVLADのような線形特徴集約手法の限界を克服し、高次元特徴における複雑な非線形関係をモデル化すること。
• 畳み込み特徴から直接、エンドツーエンドで判別性の高いSPD行列表現を学習するディープラーニングフレームワークを設計すること。
• 特に共分散行列が特異的になる場合にも、SPD行列のリーマン幾何学を活用することでロバスト性と一般化性能を向上させること。
• 視覚分類において、線形およびユークリッドベースの集約手法と比較して、非線形SPD集約の優位性を示すこと。

提案手法

• RBF、多項式、ラプラシアンカーネルなどの微分可能カーネル関数を用いて、畳み込み特徴を直接実対称正定値（SPD）行列にマップする非線形カーネル集約層を導入する。
• 初期SPD行列をよりコンactかつ判別性の高い表現にマップするが、リーマン多様体構造を保持する学習可能なパラメータを有するSPD行列変換層を採用する。
• 冗長性を低減し、最適化の収束を加速させるために、ベクトル化および正規化層を適用し、標準的なディープラーニング最適化と互換性を持たせる。
• SPD層を通過する誤差逆伝播を可能にするために、直交スタイフェル多様体上の再構成（retraction）を含むリーマン最適化技術を活用する。
• 前向きおよび逆向きの伝搬を高速化するための高速行列演算を活用し、ディープネットワークにおける計算効率を確保する。
• 最終的な畳み込み特徴の次元削減のため、1×1畳み込み層とPCAを統合し、特徴品質と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体上でのSPD行列としてモデル化することで、畳み込み特徴の非線形的・ロバストな表現を深層ネットワークが効果的に学習できるか？
• RQ2 双線形プーリングやVLADのような線形手法と比較して、カーネルベースの非線形集約は、複雑な特徴関係をどの程度うまく捉えられるか？
• RQ3 提案されたSPD行列変換層は、視覚分類における判別力と一般化性能をどの程度向上させるか？
• RQ4 リーマン最適化を組み込んだエンドツーエンドフレームワークは、既存の最先端特徴集約技術を上回るか？
• RQ5 1×1畳み込みやカーネル関数の選択といった設計選択は、多様なデータセット全体で性能にどの程度影響を与えるか？

主な発見

• 提案手法はKTH-2bデータセットで81.1%のトップ-1精度を達成し、B-CNN（79.7%）および純粋なVGG-16を顕著に上回っている。
• FGVC-aircraftデータセットでは77.8%の精度に達し、B-CNNの74.3%およびVGG-16のベースラインを上回っている。
• DTDデータセットでは変換層を含むバージョンがベースラインより1.8%向上し、FGVC-aircraftデータセットでは1.1%向上している。
• 1×1畳み込み層は、本手法のSPD集約において有益であるが、B-CNNや純粋なVGG-16では有害または効果が薄く、SPDフレームワークに特化した役割を果たしていることが示唆される。
• 細分化画像認識やアクション認識タスクにおいて、非線形関係が重要となる分野で、優れた一般化性能を示している。
• 512チャネルの1×1畳み込みを備えたカーネル集約層が、他の構成と比較して優れている。特にFGVC-aircraftやKTH-2bのような細分化データセットにおいて顕著な性能向上を示している。