[論文レビュー] Transfer Learning for Material Classification using Convolutional Networks

Patrick Wieschollek, Hendrik P. A. Lensch|arXiv (Cornell University)|Sep 20, 2016

Advanced Neural Network Applications参考文献 16被引用数 14

ひとこと要約

本論文は、事前学習済みの物体認識モデルを活用してデータ要件を低減する、畳み込みニューラルネットワーク（CNN）を用いた転移学習アプローチを提案し、自然画像における素材分類の性能を向上させる。10種類の素材カテゴリにわたる約10,000枚の多様な実世界画像から構成される新しいデータセットを用いて訓練することで、素材認識分野で最先端の性能を達成した。アブレーションスタディの結果、反射率と陰影の特徴が素材種別に異なる寄与を示した。

ABSTRACT

Material classification in natural settings is a challenge due to complex interplay of geometry, reflectance properties, and illumination. Previous work on material classification relies strongly on hand-engineered features of visual samples. In this work we use a Convolutional Neural Network (convnet) that learns descriptive features for the specific task of material recognition. Specifically, transfer learning from the task of object recognition is exploited to more effectively train good features for material classification. The approach of transfer learning using convnets yields significantly higher recognition rates when compared to previous state-of-the-art approaches. We then analyze the relative contribution of reflectance and shading information by a decomposition of the image into its intrinsic components. The use of convnets for material classification was hindered by the strong demand for sufficient and diverse training data, even with transfer learning approaches. Therefore, we present a new data set containing approximately 10k images divided into 10 material categories.

研究の動機と目的

• 照明、視点、幾何的形状が変動する自然で制約のない環境における素材分類の正確性を向上させること。
• 事前学習済みの物体認識モデルからの転移学習を活用することで、大規模かつ多様な訓練データの必要性を低減すること。
• 反射率と陰影の成分が素材認識性能に与える相対的寄与を分析すること。
• 素材分類研究のための、10,000枚の画像を含む大規模かつ現実世界のデータセットを提供すること。

提案手法

• 物体認識モデルからの転移学習を用いて、事前学習済みの畳み込みニューラルネットワーク（CNN）を素材分類用に微調整した。
• Google Imagesから収集した約10,000枚の画像を用いて、照明や視点が異なる10種類の素材カテゴリをカバーする新しいデータセットでCNNを訓練した。
• 最新の分解手法を用いて入力画像を内在的成分（反射率と陰影）に分解し、それぞれの寄与を分離・分析した。
• RGB、反射率のみ、陰影のみの入力を用いてモデルの評価を行い、特徴の重要性を評価した。
• 最終的なCNN特徴量を入力として、マルチレイヤーパーセプトロン（MLP）分類器を用いて素材カテゴリを予測した。
• 異なる入力モodal（RGB、反射率、陰影）における性能を比較するアブレーションスタディを実施し、各素材クラスにおいて最も判別能の高い視覚的手がかりを特定した。

実験結果

リサーチクエスチョン

• RQ1 物体認識からの転移学習は、手作業で設計された特徴量と比較して、素材分類性能をどのように向上させるか？
• RQ2 反射率と陰影のうち、どの内在画像成分が異なる素材種別において、正確な素材認識に最も寄与するか？
• RQ3 大規模かつ多様な実世界画像データセットで訓練された深層CNNは、過去の最先端手法を上回る性能を示せるか？
• RQ4 予測の信頼度と正しさの相関関係はどのように関係し、モデルの頑健性について何を示唆するか？
• RQ5 周囲のシーンからのコンテキスト情報は素材分類にどの程度影響を及ぼすか？また、背景情報をマスクすることで性能が向上するか？

主な発見

• 本研究で提案する転移学習を用いたCNNベースの手法は、Flickr Material Database（FMD）において、従来の最先端手法や手作業特徴量と比較して顕著に高い認識率を達成した。
• 反射率情報のみで訓練したモデルは、GMDテストセットで98％の正確性を達成した。これは、多くの素材において反射率が非常に判別能の高い特徴であることを示している。
• 木材の正しく予測されたケースでは平均0.97の高い信頼度を示したが、誤分類の場合は平均0.64の低信頼度であった。これは、信頼性の高い不確実性推定が可能であることを示している。
• 反射率情報は、ガラス、水、石、葉物素材の区別に特に効果的である一方、金属やプラスチックのような素材では陰影の寄与がより大きい。
• 混同行列の結果、紙と葉物素材は豊富な訓練データがあっても頻繁に混同され、視覚的に類似していることが示された。
• 背景ピクセルをバイナリマスクで平均色または白色に置き換えても性能は向上しなかった。これは、正確な分類に周囲のシーンコンテキスト情報が重要であることを示唆している。