[論文レビュー] DeepKSPD: Learning Kernel-matrix-based SPD Representation for Fine-grained Image Recognition

Melih Engin, Lei Wang+2 more|arXiv (Cornell University)|Nov 11, 2017

Advanced Image and Video Retrieval Techniques参考文献 10被引用数 9

ひとこと要約

本稿では、深層局所記述子、カーネル行列に基づく対称正定値（SPD）表現、および分類器を一括して学習するエンド・ツー・エンドのフレームワーク、DeepKSPDを提案する。カーネル行列のバックプロパゲーションを導出し、SPD行列関数にDaleckiñ-Kreínの公式を適用することで、最適なSPD表現学習が可能となり、ベンチマークデータセットで最先端の精度を達成した。

ABSTRACT

Being symmetric positive-definite (SPD), covariance matrix has traditionally been used to represent a set of local descriptors in visual recognition. Recent study shows that kernel matrix can give considerably better representation by modelling the nonlinearity in the local descriptor set. Nevertheless, neither the descriptors nor the kernel matrix is deeply learned. Worse, they are considered separately, hindering the pursuit of an optimal SPD representation. This work proposes a deep network that jointly learns local descriptors, kernel-matrix-based SPD representation, and the classifier via an end-to-end training process. We derive the derivatives for the mapping from a local descriptor set to the SPD representation to carry out backpropagation. Also, we exploit the Daleckii-Krein formula in operator theory to give a concise and unified result on differentiating SPD matrix functions, including the matrix logarithm to handle the Riemannian geometry of kernel matrix. Experiments not only show the superiority of kernel-matrix-based SPD representation with deep local descriptors, but also verify the advantage of the proposed deep network in pursuing better SPD representations for fine-grained image recognition tasks.

研究の動機と目的

• 従来のSPD表現が局所記述子とカーネル行列を別個の最適化されていないコンponentとして扱うという制限を解消すること。
• 手作業で作成された特徴量の代わりに、深層局所記述子と組み合わせたカーネル行列に基づくSPD表現の潜在的可能性を調査すること。
• 局所記述子、カーネル行列に基づくSPD表現、分類器を一括して最適化するエンド・ツー・エンドで学習可能な深層ネットワークの開発。
• 局所記述子からカーネル行列に基づくSPD表現へのマッピングに対する閉形式のバックプロパゲーションルールを導出すること、特にリーマン幾何学における行列対数を含む。
• Daleckiñ-Kreínの公式を用いて、SPD行列関数の微分を統一的かつ簡潔に扱い、効率的で安定した学習を可能にすること。

提案手法

• エンド・ツー・エンドで深層局所記述子、カーネル行列に基づくSPD表現、分類器を一括して学習する深層ニューラルネットワーク、DeepKSPDを提案する。
• 事前に定義されたカーネル関数を用いて、深層局所記述子からカーネル行列を計算し、非線形相関を捉えるSPD行列を形成する。
• 行列微積分と連鎖律を用いて、カーネル行列マッピングを経由するバックプロパゲーションの解析的勾配を導出する。
• Daleckiñ-Kreínの公式を適用し、行列対数を含むSPD行列関数の導関数を統一的かつ簡潔な表現で得る。
• 行列対数を適用して、カーネル行列をリーマン幾何学的空間からユークリッド空間にマッピングし、標準的な損失関数を用いた効果的な分類を可能にする。
• 導出された勾配を用いて標準的なバックプロパゲーションを実行し、分類精度を最適化するため、ネットワーク全体をエンド・ツー・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 深層局所記述子に基づくカーネル行列に基づくSPD表現は、従来の手作業で作成された記述子（例：SIFT や Gabor 応答）を用いたものよりも、細分化画像認識で優れた性能を発揮するか？
• RQ2 局所記述子、カーネル行列、分類器を一括して最適化するエンド・ツー・エンド学習は、個別に最適化する手法よりも優れたSPD表現を生成するか？
• RQ3 提案されたバックプロパゲーションフレームワークは、行列対数などの複雑なSPD行列関数を安定的かつ微分可能に処理できるか？
• RQ4 Daleckiñ-Kreín定理に基づく統一的導関数式は、深層学習における多様なSPD行列関数の微分に有効であるか？
• RQ5 カーネル行列に基づくSPD表現の統合は、最先端の手法と比較して、細分化認識ベンチマークにおける分類精度を向上させるか？

主な発見

• 深層局所記述子に基づくカーネル行列に基づくSPD表現は、SIFT や Gabor 応答といった従来の記述子を用いたものと比較して、顕著に優れた性能を発揮した。
• CUB-200-2011 や Stanford Cars などの複数の細分化画像認識ベンチマークで、比較されたすべての手法の中で最も高い分類精度を達成した。
• 学習済み特徴マップの可視化により、判別性の高いオブジェクト部分（例：車体）に強化された活性化と、不要な背景領域への低反応が観察された。
• 提案されたバックプロパゲーションフレームワークは、カーネル行列に基づくSPD表現の非線形性と行列構造を的確に処理でき、安定的なエンド・ツー・エンド学習を可能にした。
• Daleckiñ-Kreínの公式の使用により、行列対数を含む多様なSPD行列関数に対する勾配の統一的で効率的な導出が可能になった。
• 実験的結果から、記述子とSPD表現を同時に学習することが、事前学習された記述子にカーネル行列に基づくSPD表現を適用する手法よりも優れた性能をもたらすことが確認された。