[論文レビュー] Real Time Fine-Grained Categorization with Accuracy and Interpretability

Shaoli Huang, Dacheng Tao|arXiv (Cornell University)|Oct 4, 2016

Advanced Neural Network Applications参考文献 36被引用数 3

ひとこと要約

本稿では、部分レベルとオブジェクトレベルの特徴統合を用いて、オブジェクト部分の同時局所化と下位カテゴリ分類を実現する、リアルタイムで高精度かつ解釈可能な細分類システムであるDeeper Part-Stacked CNN (DPS-CNN) を提案する。この手法は、2ストリーム畳み込みニューラルネットワークを用いて、CUB-200-2011で最先端の性能を達成し、32フレーム/秒の推論速度を実現するとともに、部分ごとの比較基準に基づいた人間が理解可能な解釈マニュアルを生成する。

ABSTRACT

A well-designed fine-grained categorization system usually has three contradictory requirements: accuracy (the ability to identify objects among subordinate categories); interpretability (the ability to provide human-understandable explanation of recognition system behavior); and efficiency (the speed of the system). To handle the trade-off between accuracy and interpretability, we propose a novel "Deeper Part-Stacked CNN" architecture armed with interpretability by modeling subtle differences between object parts. The proposed architecture consists of a part localization network, a two-stream classification network that simultaneously encodes object-level and part-level cues, and a feature vectors fusion component. Specifically, the part localization network is implemented by exploring a new paradigm for key point localization that first samples a small number of representable pixels and then determine their labels via a convolutional layer followed by a softmax layer. We also use a cropping layer to extract part features and propose a scale mean-max layer for feature fusion learning. Experimentally, our proposed method outperform state-of-the-art approaches both in part localization task and classification task on Caltech-UCSD Birds-200-2011. Moreover, by adopting a set of sharing strategies between the computation of multiple object parts, our single model is fairly efficient running at 32 frames/sec.

研究の動機と目的

• 細分類視覚分類（FGVC）における精度、解釈可能性、効率性の間で相反する要請を同時に満たすこと。
• 微細な差を捉えるためにオブジェクト部分の差をモデル化する統合的深層学習フレームワークの構築。
• 部分レベルの比較基準を用いて分類意思決定を説明する、人間が理解可能な解釈マニュアルの生成。
• ベンチマークデータセットで最先端の精度を維持しつつ、32 FPSという高い推論速度を達成すること。

提案手法

• キーポイントの局所化に完全畳み込みネットワークを用い、代表的なピクセルをサンプリングし、1×1畳み込み層とソフトマックスを用いてそのラベルを予測する。
• 検出された部分位置から局所的特徴を抽出する新しい「部分クロップ層」を導入し、部分固有の特徴学習を可能にする。
• グローバル（オブジェクトレベル）およびローカル（部分レベル）特徴を並列に処理する2ストリーム分類ネットワークを採用し、識別性能を向上させる。
• 部分ストリームとオブジェクトストリームの特徴を統合するためのスケール平均マックスプーリング層を導入し、最終的な堅牢な表現を生成する。
• 学習された重みを用いて部分ストリームとオブジェクトストリームの特徴を統合する特徴ベクトル統合モジュールを設け、分類性能を向上させる。
• 予測スコアの差を用いた「1対全」および「1対1」の比較により、解釈を生成する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、細分類視覚分類において、高精度、リアルタイム推論、人間が解釈可能な分類意思決定を同時に達成できるか？
• RQ2 類似したサブカテゴリを識別するために、部分レベルの監視を統合的CNNアーキテクチャに効果的に統合する方法は何か？
• RQ3 個々の部分ごとに別々のネットワークを用いずに、複数のオブジェクト部分を効率的に処理できるか、その際の速度と精度を維持できるか？
• RQ4 部分ベースの比較によって、類似したカテゴリを区別する直感的で人間が読めるマニュアルを生成できるか、その範囲はどの程度か？

主な発見

• DPS-CNNモデルは、CUB-200-2011データセットにおいて、部分局所化および細分類分類の両タスクで最先端の性能を達成した。
• 本手法は32フレーム/秒で実行され、深層アーキテクチャを有しながらも、強力なリアルタイム推論効率を示した。
• モデルは、部分ごとの比較基準を用いて、類似したカテゴリ間の特徴を強調する視覚的フィールドガイド形式の解釈マニュアルを生成した。
• "1対1"の解釈手法は、予測クラスと最も類似したサブカテゴリを区別するのに最も特徴的な部分を効果的に同定した。
• クロッピング層を介した部分間で共有される特徴抽出により、計算コストを低減しながらも高い精度を維持できた。