[論文レビュー] Recognizing Material Properties from Images

Gabriel Schwartz, Ko Nishino|arXiv (Cornell University)|Jan 9, 2018

Industrial Vision Systems and Defect Detection参考文献 13被引用数 6

ひとこと要約

本論文は、画像パッチから局所的に識別可能な性質（例：'ぼんやりした'や'つやがある'など）である視覚的素材属性を、人間の知覚に基づく弱い教師信号（はい／いいえの比較質問）を用いて認識する手法を提案する。エンド・ツー・エンドのMAC-CNNフレームワークを導入し、事前に定義された語彙に依存しない、知覚的に意味のある属性を発見し、最小限のアノテーションで素材認識とゼロショット一般化の性能を向上させ、少ない例数でも高い精度を達成する。

ABSTRACT

Humans rely on properties of the materials that make up objects to guide our interactions with them. Grasping smooth materials, for example, requires care, and softness is an ideal property for fabric used in bedding. Even when these properties are not visual (e.g. softness is a physical property), we may still infer their presence visually. We refer to such material properties as visual material attributes. Recognizing these attributes in images can contribute valuable information for general scene understanding and material recognition. Unlike well-known object and scene attributes, visual material attributes are local properties with no fixed shape or spatial extent. We show that given a set of images annotated with known material attributes, we may accurately recognize the attributes from small local image patches. Obtaining such annotations in a consistent fashion at scale, however, is challenging. To address this, we introduce a method that allows us to probe the human visual perception of materials by asking simple yes/no questions comparing pairs of image patches. This provides sufficient weak supervision to build a set of attributes and associated classifiers that, while unnamed, serve the same function as the named attributes we use to describe materials. Doing so allows us to recognize visual material attributes without resorting to exhaustive manual annotation of a fixed set of named attributes. Furthermore, we show that this method may be integrated in the end-to-end learning of a material classification CNN to simultaneously recognize materials and discover their visual attributes. Our experimental results show that visual material attributes, whether named or automatically discovered, provide a useful intermediate representation for known material categories themselves as well as a basis for transfer learning when recognizing previously-unseen categories.

研究の動機と目的

• グローバルな画像コンテキストではなく、局所的な画像パッチから視覚的素材属性（例：'ぼんやりした'や'つやがある'など）を認識すること。
• 名前が付けられた素材属性の手作業によるアノテーションのスケーラビリティの課題に対処するため、人間の知覚に基づく弱い教師信号を用いること。
• 事前に定義された意味的ラベルに依存せずに、ペairワイズ比較質問を通じて、名前が付けられていないが知覚的に関連性のある視覚的素材属性を発見すること。
• 属性発見をエンド・ツー・エンドのディープラーニングフレームワーク（MAC-CNN）に統合し、素材分類と属性学習を同時に最適化すること。
• 発見された属性が、未確認のカテゴリに対しても、ゼロショットおよびワンショット素材認識においてどのように有用であるかを評価すること。

提案手法

• 人間の素材外観知覚に基づく弱い教師信号として、はい／いいえの比較質問（例：'パッチAはパッチBよりもぼんやりしていますか？'）を用いてデータ収集を行う。
• この弱い教師信号を活用し、人間の知覚的カテゴリーと一致する、名前が付けられていない局所的に識別可能な視覚的素材属性を学習する。
• 局所的な画像パッチから素材カテゴリと視覚的素材属性を同時に予測する、マルチ属性分類CNN（MAC-CNN）を設計する。
• 素材アノテーションと弱い属性教師信号の両方を用いて、エンド・ツー・エンドでMAC-CNNを訓練し、同時に最適化を可能にする。
• 画像パッチのスライディングウィンドウ推論を用いて、素材カテゴリおよび視覚的属性の各画素確率マップを生成する。
• 1ショット学習として、線形SVMを用い、わずかな例数と予測された属性確率に基づいて、新規カテゴリの認識を評価する。

実験結果

リサーチクエスチョン

• RQ1 『ぼんやりした』や『つやがある』といった視覚的素材属性は、純粋に局所的な画像パッチから正確に認識可能か？
• RQ2 事前に定義された意味的ラベルに依存せず、人間の知覚に基づく弱い教師信号のみを用いて、名前が付けられていない視覚的素材属性を自動的に発見できるか？
• RQ3 発見された属性は、特にゼロショットや少数ショットの状況において、素材認識性能の向上に寄与するか？
• RQ4 エンド・ツー・エンドのMAC-CNNフレームワークは、素材カテゴリと視覚的素材属性を同時に学習するのにどの程度効果的か？
• RQ5 視覚的素材属性は、素材カテゴリ間の転移学習のための有用な中間表現として、どの程度有効か？

主な発見

• 視覚的素材属性は局所的に識別可能であり、グローバルなコンテキストがなくても、小さな画像パッチを用いて高い精度で予測可能である。
• はい／いいえの比較質問による弱い教師信号を用いた手法は、人間の知覚的カテゴリーと一致する、名前が付けられていない視覚的素材属性を効果的に発見できた。
• MAC-CNNフレームワークは、素材認識および属性予測において優れた性能を示し、属性情報が生の素材確率とは別に、新たな判別的特徴を提供することが実証された。
• 1ショット学習において、10例程度の訓練例でさえも、急速に精度が安定化し、優れた一般化能力を示した。
• 属性ベースの分類は、素材のみ、または素材＋属性を連結したベースラインを上回り、属性が意味的で転移可能な特徴を露わにしていることを確認した。
• 本フレームワークは、局所的情報のみを用いても、各画素の素材確率マップを生成可能であり、完全なインスタンスレベルのセグメンテーションがなくても、高いロバスト性を示した。