[論文レビュー] Material Recognition from Local Appearance in Global Context

Gabriel Schwartz, Ko Nishino|arXiv (Cornell University)|Nov 28, 2016

Advanced Neural Network Applications参考文献 18被引用数 20

ひとこと要約

本稿では、局所的な素材の外観とグローバルな文脈的情報（物体やシーン）を明示的に分離し、素材のカテゴリのみで訓練された完全畳み込みニューラルネットワークを用いて、それらを統合することで、密なピクセル単位の素材認識のための新規フレームワークを提案する。この手法は、従来の方法が大規模な画像パッチを通じて文脈を暗黙的に融合するのとは異なり、顕著に少ない学習データで、多様な素材データセットにおいて最先端の精度を達成する。

ABSTRACT

Recognition of materials has proven to be a challenging problem due to the wide variation in appearance within and between categories. Global image context, such as where the material is or what object it makes up, can be crucial to recognizing the material. Existing methods, however, operate on an implicit fusion of materials and context by using large receptive fields as input (i.e., large image patches). Many recent material recognition methods treat materials as yet another set of labels like objects. Materials are, however, fundamentally different from objects as they have no inherent shape or defined spatial extent. Approaches that ignore this can only take advantage of limited implicit context as it appears during training. We instead show that recognizing materials purely from their local appearance and integrating separately recognized global contextual cues including objects and places leads to superior dense, per-pixel, material recognition. We achieve this by training a fully-convolutional material recognition network end-to-end with only material category supervision. We integrate object and place estimates to this network from independent CNNs. This approach avoids the necessity of preparing an impractically-large amount of training data to cover the product space of materials, objects, and scenes, while fully leveraging contextual cues for dense material recognition. Furthermore, we perform a detailed analysis of the effects of context granularity, spatial resolution, and the network level at which we introduce context. On a recently introduced comprehensive and diverse material database \cite{Schwartz2016}, we confirm that our method achieves state-of-the-art accuracy with significantly less training data compared to past methods.

研究の動機と目的

• 高い外観変動にさらされる素材認識の課題に対処するため、局所的な素材の手がかりとグローバルな文脈を分離する。
• 従来の方法が大規模な画像パッチを通じて素材と文脈を暗黙的に混合するという制限を克服する。これにより、分離性と一般化性能が制限される。
• 物体とシーンの文脈を別々に予測し、それらを素材認識ネットワークに統合することで、ピクセル単位の素材認識精度を向上させる。
• CNNベースのフレームワークにおいて、文脈的情報を統合する最適な粒度、空間解像度、およびネットワーク層を特定する。
• 素材、物体、シーンのすべての組み合わせをカバーする膨大で現実的でない大規模データセットへの依存を低減する。

提案手法

• 局所的な画像パッチに対して、素材のカテゴリのみで端末から端末まで訓練された完全畳み込みニューラルネットワークを用いる。
• グローバルな文脈は、別々に事前学習された物体検出用およびシーン分類用（Places CNN）のCNNからの予測によって導入される。
• 選択された層および空間解像度で、素材認識ネットワークの特徴マップと文脈特徴が連結される。
• このフレームワークにより、異なる粒度と空間スケールでの文脈の明示的統合が可能となり、最適な統合戦略に関するアブレーションスタディが可能になる。
• モデルは、多様で包括的な素材データセットで微調整され、文脈特徴は同じ入力画像から独立したネットワークから抽出される。
• 素材、物体、シーンの共同アノテーションを避けるために、文脈のための事前学習モデルを活用する。

実験結果

リサーチクエスチョン

• RQ1 大規模な画像パッチによる暗黙的統合と比較して、グローバルな文脈（物体およびシーン）を明示的に統合することで、ピクセル単位の素材認識はどの程度向上するか？
• RQ2 素材認識ネットワークに文脈的情報を統合する際の最適な粒度と空間解像度は何か？
• RQ3 CNNの階層的層のどの位置に文脈を統合することで認識精度を最大にすることができるか？
• RQ4 素材カテゴリのみで訓練されたモデルが、別々に予測された文脈情報を組み合わせることで、少ない学習データでも優れた性能を達成できるか？
• RQ5 偏ったまたは限定的なデータセットで訓練された手法と比較して、本手法は多様で現実世界の素材データセットにどの程度一般化するか？

主な発見

• 提案手法は、包括的かつ多様な素材認識ベンチマークで最先端の精度を達成し、従来の方法が暗黙的に文脈を統合する手法を上回る。
• ローカル素材データセット [14] で68.5％の平均クラス精度を達成し、MINCのような250万個のパッチを使用する手法と比較して学習データが少ないにもかかわらず、強力な一般化性能を示す。
• 大規模パッチのみで訓練されたベースラインモデルと比較して、本手法は顕著に優れた性能を示しており、大域的受容 field 内の暗黙的文脈統合を超えて認識性能が向上することを確認した。
• アブレーションスタディの結果、中間層で中程度の空間解像度で文脈を統合すると最良の性能が得られ、受容 field の大きさと特徴の特異性の間のトレードオフが示された。
• MINCデータセットが不動産画像に偏っているなど、データセット固有の素材分布によるバイアスを、多様で独立した文脈ソースを活用することで低減した。
• 定性的な結果から、文脈情報が局所的な曖昧性を解消する（例：鏡面ハイライトのない金属やコンクリートに似た質感の水）ことが確認され、明示的な文脈統合の価値が裏付けられた。