[論文レビュー] A Discriminative Representation of Convolutional Features for Indoor Scene Recognition

Salman Khan, Munawar Hayat+3 more|arXiv (Cornell University)|Jun 16, 2015

Advanced Image and Video Retrieval Techniques参考文献 58被引用数 115

ひとこと要約

本論文は、複数のコードブックを用いたシーン代表パッチ（SRP）を用いて、構造的な畳み込み特徴をより判別性の高い空間に変換することで、屋内シーン認識のための新しい判別的中レベル特徴表現を提案する。新しい大規模な屋内オブジェクトデータセット（1,300カテゴリ）から得られる教師ありSRPと、学習データから得られる教師なしSRPを組み合わせ、マックスマージン超平面符号化を採用することで、5つの主要なシーン分類ベンチマークで最先端の性能を達成し、クラス内変動性とクラス間類似性の処理において、従来手法を顕著に上回った。

ABSTRACT

Indoor scene recognition is a multi-faceted and challenging problem due to the diverse intra-class variations and the confusing inter-class similarities. This paper presents a novel approach which exploits rich mid-level convolutional features to categorize indoor scenes. Traditionally used convolutional features preserve the global spatial structure, which is a desirable property for general object recognition. However, we argue that this structuredness is not much helpful when we have large variations in scene layouts, e.g., in indoor scenes. We propose to transform the structured convolutional activations to another highly discriminative feature space. The representation in the transformed space not only incorporates the discriminative aspects of the target dataset, but it also encodes the features in terms of the general object categories that are present in indoor scenes. To this end, we introduce a new large-scale dataset of 1300 object categories which are commonly present in indoor scenes. Our proposed approach achieves a significant performance boost over previous state of the art approaches on five major scene classification datasets.

研究の動機と目的

• 屋内シーン認識における高いクラス内変動性とクラス間類似性の課題に対処すること。
• 局所的詳細と構造的関係を両方保持する中レベル特徴を導入することで、従来のグローバルまたはローカル特徴表現を改善すること。
• 複雑な屋内シーンのための判別力を高める、頑健な特徴符号化方式を開発すること。
• シーン認識に適した1,300カテゴリの屋内オブジェクトカテゴリを含む、初めての大規模データセットを構築・公開すること。
• 多様で困難な屋内シーン分類データセットにおいて、優れた性能を示すこと。

提案手法

• 深層畳み込み特徴から一様に密集した画像パッチを抽出し、中レベル表現を構築する。
• 複数の小さなコードブックを構築し、新規に構築された1,300カテゴリの屋内オブジェクトデータセットからの教師ありSRPと、学習データからの教師なしSRPを統合する。
• マックスマージン超平面符号化を用いて、パッチとシーンカテゴリ間の判別的関連性をモデル化する。
• 複数のコードブックに跨るマックスプーリングを適用し、最終的な表現のための判別的パッチ応答を集約する。
• 特徴符号化にスパースコーディングと分類器類似度指標を用い、部品の有効性を検証するためのアブレーションスタディを実施する。
• データ拡張とパッチ寄与度ヒートマップを活用し、耐障害性と解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 畳み込み特徴から導出される中レベル表現は、屋内シーン認識においてグローバルまたはローカル表現を上回ることができるか？
• RQ2 複数のコードブックに教師ありと教師なしSRPを組み合わせることで、単一のコードブックに比べ分類精度が向上するか？
• RQ3 マックスマージン超平面符号化は、シーン分類のための判別的パッチ関係を効果的に捉えられるか？
• RQ4 提案手法は、ごみの多い環境、スケール変動、ポーズ変動が顕著なデータセットに対しても一般化できるか？
• RQ5 大規模で意味的ラベルが付与された屋内オブジェクトデータセットは、シーン認識性能の向上に寄与するか？

主な発見

• 提案手法のDUCAは、UIUC 8-Sportsデータセットで98.7%の正確度を達成し、前回最良手法比で10.2%の向上を示した。
• Graz-02データセットでは98.6%の正確度に達し、前回の最先端手法比で12.6%の向上を示した。
• 教師ありと教師なしコードブックの組み合わせにより、MIT-67データセットで71.8%の正確度を達成し、個々のコンponentsや単一の大規模コードブックを上回った。
• 複数の小さなコードブックを用いることで、単一の大規模コードブックに比べ、1枚あたり約20秒の特徴符号化時間を短縮し、性能は維持または向上させた。
• コードブックに跨るマックスプーリングが最良の結果をもたらし、MIT-67では71.8%の正確度を達成したのに対し、平均プーリングでは69.7%にとどまった。
• ヒートマップの分析から、最も判別力のある中レベルパッチが正しく予測に寄与していることが確認され、本手法が顕著なシーン要因に焦点を当てていることが裏付けられた。