[論文レビュー] Deep convolutional filter banks for texture recognition and segmentation

Mircea Cimpoi, Subhransu Maji+1 more|arXiv (Cornell University)|Nov 25, 2014

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 50

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）のフィルターバンクにフィッシャー・ベクター（FV）プーリングを適用することで、ごちゃついた画像におけるテクスチャ、素材、シーン認識を向上させる、FV-CNNと呼ばれる新しいテクスチャ記述子を提案する。CNN特徴量を学習可能なフィルターバンクとみなすことで、順序なしでマルチスケールのプーリングを実現し、微調整や画像リサイズを必要とせずに、最先端の性能を達成した—Flickr Materialでは79.8%、MIT Indoor Scenesでは81.1%を記録した。

ABSTRACT

Research in texture recognition often concentrates on the problem of material recognition in uncluttered conditions, an assumption rarely met by applications. In this work we conduct a first study of material and describable texture at- tributes recognition in clutter, using a new dataset derived from the OpenSurface texture repository. Motivated by the challenge posed by this problem, we propose a new texture descriptor, D-CNN, obtained by Fisher Vector pooling of a Convolutional Neural Network (CNN) filter bank. D-CNN substantially improves the state-of-the-art in texture, mate- rial and scene recognition. Our approach achieves 82.3% accuracy on Flickr material dataset and 81.1% accuracy on MIT indoor scenes, providing absolute gains of more than 10% over existing approaches. D-CNN easily trans- fers across domains without requiring feature adaptation as for methods that build on the fully-connected layers of CNNs. Furthermore, D-CNN can seamlessly incorporate multi-scale information and describe regions of arbitrary shapes and sizes. Our approach is particularly suited at lo- calizing stuff categories and obtains state-of-the-art re- sults on MSRC segmentation dataset, as well as promising results on recognizing materials and surface attributes in clutter on the OpenSurfaces dataset.

研究の動機と目的

• テクスチャが分離されておらず、一様に分布していない現実世界の、ごちゃついた自然画像における素材およびテクスチャ属性の認識の課題に対処すること。
• 完全結合層に依存する既存のCNNベースの手法の限界を克服すること。これらの手法は空間的配置に敏感であり、固定された入力サイズを必要とし、移行性が低いことがある。
• 柔軟で順序なし、マルチスケールの特徴表現を開発し、テクスチャ固有の不変性を保持するとともに、微調整なしでドメイン移行を可能にすること。
• 素材およびテクスチャ属性の認識とセグメンテーションのため、OpenSurfacesデータセットから派生した新規ベンチマークで提案手法を評価すること。

提案手法

• 事前学習済みのCNN（例：VGG-M）の初期畳み込み層の活性化マップを、学習可能な非線形フィルターバンクとみなす。
• 各フィルターバンクの特徴マップにフィッシャー・ベクター（FV）プーリングを適用し、コンパクトで順序なしで判別力のあるグローバル記述子を生成する。
• FV表現を用いて、空間的位置におけるフィルタ応答の分布を符号化することで、マルチスケールかつ形状に依存しない特徴集約を可能にする。
• 完全結合層が要求するようなコストの高いリサイズ処理を回避し、畳み込み層を直接任意サイズの入力画像に処理する。
• 分類のための線形SVMをFV-CNN特徴量に適用し、ドメイン固有の適応なしで高速かつ効果的な認識を実現する。
• FV-CNNの領域記述子と汎用的な画像セグメンテーションアルゴリズム（例：クリアな領域や重複するプロポーザル）を組み合わせることで、弱教師ありセグメンテーションへの拡張を図る。

実験結果

リサーチクエスチョン

• RQ1 CNNフィルターバンクのフィッシャー・ベクタープーリングは、完全結合層からの標準的なCNN特徴量よりも、ごちゃついたシーンにおけるテクスチャおよび素材認識で優れているか？
• RQ2 微調整なしでも、完全結合層に依存する手法よりもFV-CNNはより優れたドメイン移行を実現できるか？
• RQ3 FV-CNNの性能は、異なるCNN層でどのように変化するか？どの層が最も判別力のあるテクスチャ表現を提供するか？
• RQ4 CRFベースの後処理やデータセット固有の学習なしで、FV-CNNは弱教師ありセグメンテーションタスクで最先端の結果を達成できるか？
• RQ5 FV-CNNは、現実世界の、ごちゃついていない、複雑なシーンにおける記述的テクスチャ属性（例：しわだらけ、マーブル模様）および素材（例：レンガ、布）の認識において、どの程度効果的か？

主な発見

• FV-CNNはFlickr Materialデータセットで79.8%の正確度を達成し、以前の最先端手法よりも10%以上の絶対的向上を示した。
• MIT Indoor Scenesデータセットでは81.1%の正確度を記録し、以前の最先端の70.8%を大きく上回った。
• FV-CNNは、すべての評価済みデータセットでSIFTベースのフィッシャー・ベクター表現を上回り、層の深さが進むにつれて性能が単調に向上した。
• VGG-Mのconv3層以降のフィルターバンクは、SIFTよりも顕著に優れた記述子を生成し、テクスチャ表現における深層特徴の優位性を示した。
• FV-CNNは効果的な弱教師ありセグメンテーションを実現した：クリアな領域を用いることで、OpenSurfacesの素材認識ベンチマークで55.4%の正確度、MSRCでは87.0%を達成し、CRFやドメイン固有の学習なしで、以前の結果を同等または上回った。
• 本手法は領域サイズや形状に対して頑健であり、重複するプロポーザルに基づくセグメンテーションではOpenSurfacesで55.7%の正確度を達成し、優れた汎化性と柔軟性を示した。