[論文レビュー] Deep Attributes from Context-Aware Regional Neural Codes

Jianwei Luo, Jianguo Li+3 more|arXiv (Cornell University)|Sep 8, 2015

Advanced Image and Video Retrieval Techniques参考文献 31被引用数 4

ひとこと要約

本論文は、事前学習された畳み込みニューラルネットワーク（CNN）から得られる文脈に配慮した領域特徴を活用することで、視覚認識における意味的ギャップを低減する深層属性フレームワークを提案する。領域提案、ソフトマックス層出力のクロス領域マックスプーリング、文脈に配慮した領域精錬アルゴリズムを用いることで、画像分類、細分化認識、視覚的インスタンス検索の各分野で最先端の性能を達成し、カテゴリの重複がImageNetに少ないデータセットに対しても、既存手法を顕著に上回る性能を示す。

ABSTRACT

Recently, many researches employ middle-layer output of convolutional neural network models (CNN) as features for different visual recognition tasks. Although promising results have been achieved in some empirical studies, such type of representations still suffer from the well-known issue of semantic gap. This paper proposes so-called deep attribute framework to alleviate this issue from three aspects. First, we introduce object region proposals as intermedia to represent target images, and extract features from region proposals. Second, we study aggregating features from different CNN layers for all region proposals. The aggregation yields a holistic yet compact representation of input images. Results show that cross-region max-pooling of soft-max layer output outperform all other layers. As soft-max layer directly corresponds to semantic concepts, this representation is named "deep attributes". Third, we observe that only a small portion of generated regions by object proposals algorithm are correlated to classification target. Therefore, we introduce context-aware region refining algorithm to pick out contextual regions and build context-aware classifiers. We apply the proposed deep attributes framework for various vision tasks. Extensive experiments are conducted on standard benchmarks for three visual recognition tasks, i.e., image classification, fine-grained recognition and visual instance retrieval. Results show that deep attribute approaches achieve state-of-the-art results, and outperforms existing peer methods with a significant margin, even though some benchmarks have little overlap of concepts with the pre-trained CNN models.

研究の動機と目的

• 事前学習モデルの高レベルな意味的出力と領域レベルの意味を統合することで、グローバルCNN特徴の意味的ギャップを解消する。
• 解釈が難しく、文脈情報を失いがちな中間層CNN特徴の限界を克服する。
• 物体の領域提案におけるソフトマックス層応答を統合することで、コンactかつ意味的に意味のある表現を構築する。
• 分類器からのフィードバックに基づいて領域提案を精錬し、文脈的に関連する領域に焦点を当てる事で、認識性能を向上させる。
• ImageNetとのドメインオーバーラップが最小限の多様な視覚認識タスクにおいて、深層属性フレームワークの汎用性と頑健性を実証する。

提案手法

• 選択的探索やエッジボックスなどのアルゴリズムを用いて、画像内の潜在的な物体を局所化する領域提案を生成する。
• 各領域提案に対して、事前学習済みCNN（例：ImageNet-1000）のソフトマックス層から深層特徴を抽出する。
• すべての領域特徴に対してクロス領域マックスプーリングを適用し、包括的でコンパクトかつスパースな表現（「深層属性」として命名）を生成する。
• 分類器からのフィードバックを用いて、最終的な表現に最も関連する領域のみを特定・保持する文脈に配慮した領域精錬（CARR）アルゴリズムを導入する。
• スケール不変性および文脈モデリングを向上させるために、マルチスケールおよび空間ピラミッドプーリング方式を検討する。
• 検索設定において、タスク固有の微調整なしに、得られた深層属性表現を汎用特徴として後続タスクに利用する。

実験結果

リサーチクエスチョン

• RQ1 領域提案からのソフトマックス層出力の統合は、グローバルCNN特徴に比べ、よりコンパクトかつ意味的に意味のある画像表現を生み出せるか？
• RQ2 領域レベルの深層属性に対するクロス領域マックスプーリングは、他のCNN層からのプーリングに比べ、認識精度を向上させるか？
• RQ3 分類器からのフィードバックを効果的に活用して領域提案を精錬し、文脈的に関連する領域に焦点を当てることで、モデル性能を向上させられるか？
• RQ4 深層属性は、事前学習されたImageNetデータセットとカテゴリの重複が少ないタスクへどの程度一般化可能か？
• RQ5 深層属性のスパarsityと解釈可能性は、視覚的説明や大規模な効率的デプロイメントを支援するか？

主な発見

• ソフトマックス層出力のクロス領域マックスプーリングが、他のすべてのCNN層特徴を上回り、特にソフトマックス層の意味的応答が表現に最も効果的であることが判明した。
• 提案された深層属性フレームワークは、複数のベンチマークで画像分類、細分化物体認識、視覚的インスタンス検索の各分野で最先端の性能を達成した。
• 視覚的インスタンス検索のHolidaysおよびUKBデータセットでは、マルチスケール深層属性手法が94.2%の精度を達成し、先行SOTA手法（例：CNNaug-ssの91.1%）を顕著に上回った。
• 文脈に配慮した領域精錬（CARR）アルゴリズムは、最も判別能の高い領域に焦点を当てるため、背景ノイズを効果的に抑制し、性能を顕著に向上させた。
• 深層属性は本質的にスパースかつ解釈可能であり、分類器重みからのバックトラッキングにより、各画像およびカテゴリごとに最も判別能の高い領域を可視化できる。
• 微調整なしでも、深層属性はImageNetとのカテゴリ重複が最小限のデータセット（例：Oxford 102 Flowers）へ良好に一般化でき、強力な転移性を示した。