[論文レビュー] Deep filter banks for texture recognition, description, and segmentation

Mircea Cimpoi, Subhransu Maji+2 more|arXiv (Cornell University)|Jul 9, 2015

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本論文は、47のテクスチャ属性からなる人間が解釈可能な語彙と、現実世界の画像におけるテクスチャ記述を目的とした新しいデータセット（DTD）を導入する。畳み込みニューラルネットワーク（CNN）の層からの特徴をプーリングすることで得られる、学習されたフィルターバンクとしての特徴が、混雑した状況や現実的な条件下でも、テクスチャ認識、属性記述、セグメンテーションにおいて最先端の性能を達成することを示している。FMD や KTH-T2b といったベンチマークデータセットにおいて、従来手法に比べ顕著な向上を示している。

ABSTRACT

Visual textures have played a key role in image understanding because they convey important semantics of images, and because texture representations that pool local image descriptors in an orderless manner have had a tremendous impact in diverse applications. In this paper we make several contributions to texture understanding. First, instead of focusing on texture instance and material category recognition, we propose a human-interpretable vocabulary of texture attributes to describe common texture patterns, complemented by a new describable texture dataset for benchmarking. Second, we look at the problem of recognizing materials and texture attributes in realistic imaging conditions, including when textures appear in clutter, developing corresponding benchmarks on top of the recently proposed OpenSurfaces dataset. Third, we revisit classic texture representations, including bag-of-visual-words and the Fisher vectors, in the context of deep learning and show that these have excellent efficiency and generalization properties if the convolutional layers of a deep model are used as filter banks. We obtain in this manner state-of-the-art performance in numerous datasets well beyond textures, an efficient method to apply deep features to image regions, as well as benefit in transferring features from one domain to another.

研究の動機と目的

• 現実世界の画像における一般的なテクスチャパターンを記述するための、人間が解釈可能なテクスチャ属性語彙の開発。
• OpenSurfacesデータセットを用いて、現実的で混雑した画像条件下における素材およびテクスチャ属性認識のための新規ベンチマークの構築。
• CNN畳み込み層を学習されたフィルターバンクとして用いることで、従来のテクスチャ表現（例：Bag-of-Visual-Words、Fisherベクトル）を深層学習の文脈で再評価すること。
• 順序なしプーリングを組み合わせたディープ特徴を用いた、効率的で転送可能かつ領域レベルの特徴抽出を可能にすること。

提案手法

• 実世界のソースから収集した5,640枚の画像に47のテクスチャ属性をアノテートしたデータセットを提案。テクスチャの意味的記述を可能にする。
• 事前学習済みのディープCNN（例：VGG）の畳み込み層からの特徴を、学習されたフィルターバンクとして用いて局所的画像記述子を抽出。
• 従来のプーリングエンコーダー（特にFisherベクトル（FV）符号化）をCNN特徴の上に適用し、コンactな順序なし表現を生成。
• プールド特徴上で線形またはRBF分類器を学習し、テクスチャ属性や素材カテゴリを予測。
• 微調整を行わずにImageNetモデルの特徴を用いることで、転移学習を実装。これにより、ドメイン間での特徴転送が可能になる。
• ターゲットデータセット（例：Houzz）における分類器スコアを補正・スケーリングし、可視化やリコールのための正規化確率スコアを生成。

実験結果

リサーチクエスチョン

• RQ1 人間が解釈可能なテクスチャ属性語彙は、現実世界の画像における多様なテクスチャパターンを効果的に記述できるか？
• RQ2 CNNの畳み込み層からの特徴をフィルターバンクとして用い、Fisherベクトルでプールした場合、テクスチャ、素材、オブジェクト認識タスクに広く一般化できるか？
• RQ3 OpenSurfacesデータセットに見られるような、混雑した現実的画像条件下でも、テクスチャ属性の予測を信頼性高く行えるか？
• RQ4 深層ネットワークの初期畳み込み層からの特徴が、従来の手作業による特徴記述子や後続の層の特徴に比べ、テクスチャ理解タスクで優れているか？
• RQ5 微調整を行わずに、深層ネットワークから抽出した特徴がどの程度ドメイン間で転送可能か？

主な発見

• 47のテクスチャ属性を備えたDTDデータセットは、テクスチャの効果的な意味的記述を可能にし、定性的な結果では属性と画像コンテンツの強い意味的整合性が確認されている（例：パンはbumpy、pitted、porousと予測される）。
• 深層CNNの初期畳み込み層からの特徴にFisherベクトル符号化を適用した場合、KTH-T2bで77.1%の正確度を達成し、従来の最先端手法（76.0%）を上回り、優れた一般化性能を示した。
• Flickr Material Dataset（FMD）では72.17%の正確度を達成し、従来の最先端手法（57.7%）に比べ15パーセンテージポイントの顕著な向上を示した。
• DTD特徴は非常にコンパクト（他の記述子に比べ2桁小さい）であり、RBFベースの分類でも線形分類器に比べ1〜3%の性能低下にとどまり、効率的である。
• Houzz.comの壁紙やベッドカバーの10,000枚の画像データセットに適用した場合、DTD属性は意味的かつ解釈可能な記述を生成し、上位3つの属性がしばしば正確な視覚的特徴を特定した。
• この手法はテクスチャを超えて一般化可能である：粗粒度および細粒度のオブジェクト分類、シーン分類においても最先端の性能を達成しており、ディープフィルターバンクが一般化された画像記述子としての汎用性を示している。