[論文レビュー] Material Classification using Neural Networks

Anca Sticlaru|arXiv (Cornell University)|Oct 17, 2017

Industrial Vision Systems and Defect Detection参考文献 23被引用数 3

ひとこと要約

この学士論文は、深層畳み込みニューラルネットワークを用いた素材分類を調査し、9種類のCNNアーキテクチャを線形SVMと組み合わせて4つのベンチマークデータセットで評価した。トランスファーラーニング—最終全結合層の1つ前の層からの特徴量を用いる—が性能を向上させることを示し、平均平均精度（mAP）が最大92.5％に達した。特に大規模データセットでは、照 shade と反射率の特徴をよりよく捉えることで顕著な向上が得られた。

ABSTRACT

The recognition and classification of the diversity of materials that exist in the environment around us are a key visual competence that computer vision systems focus on in recent years. Understanding the identification of materials in distinct images involves a deep process that has made usage of the recent progress in neural networks which has brought the potential to train architectures to extract features for this challenging task. This project uses state-of-the-art Convolutional Neural Network (CNN) techniques and Support Vector Machine (SVM) classifiers in order to classify materials and analyze the results. Building on various widely used material databases collected, a selection of CNN architectures is evaluated to understand which is the best approach to extract features in order to achieve outstanding results for the task. The results gathered over four material datasets and nine CNNs outline that the best overall performance of a CNN using a linear SVM can achieve up to ~92.5% mean average precision, while applying a new relevant direction in computer vision, transfer learning. By limiting the amount of information extracted from the layer before the last fully connected layer, transfer learning aims at analyzing the contribution of shading information and reflectance to identify which main characteristics decide the material category the image belongs to. In addition to the main topic of my project, the evaluation of the nine different CNN architectures, it is questioned if, by using the transfer learning instead of extracting the information from the last convolutional layer, the total accuracy of the system created improves. The results of the comparison emphasize the fact that the accuracy and performance of the system improve, especially in the datasets which consist of a large number of images.

研究の動機と目的

• コンピュータビジョン分野における素材分類に、さまざまな事前学習済みCNNアーキテクチャの有効性を評価すること。
• 最終全結合層の1つ前の層から特徴量を抽出するトランスファーラーニングが、標準的な最終畳み込み層特徴量と比較して分類精度を向上させるかどうかを評価すること。
• 照 shade と反射率の情報が、素材カテゴリの認識にどの程度寄与するかを分析すること。
• 複数の素材データセットにおいて、異なるCNN特徴抽出器と線形SVMの性能を比較すること。
• 大規模な画像コレクションにおける素材分類に最適な特徴抽出戦略を特定すること。

提案手法

• 研究では、素材画像からの特徴抽出に、9種類の最先端の事前学習済み畳み込みニューラルネットワーク（CNN）アーキテクチャを用いた。
• トランスファーラーニングの影響を評価するため、最終畳み込み層および最終全結合層の1つ前の層からの特徴量を抽出した。
• 抽出された特徴量を素材カテゴリにマッピングするために、線形サポートベクターマシン（SVM）を分類器として用いた。
• 一般化を確保するため、モデルは4つの広く使われている素材データベースで訓練および評価された。
• 性能は平均平均精度（mAP）で測定され、特徴抽出戦略の比較を目的としたアブレーションスタディが実施された。
• トランスファーラーニングは、最終層の1つ前の層からの情報抽出を制限することで適用され、反射率と照 shade が素材認識に果たす役割を分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 トランスファーラーニングにより、最終全結合層の1つ前の層からの特徴量を用いることで、最終畳み込み層特徴量と比較して素材分類精度が向上するか？
• RQ2 異なるCNNアーキテクチャは、多様なデータセットにおいて、素材分類に特徴を効果的に抽出できるか？
• RQ3 照 shade と反射率の特徴が、正確な素材カテゴリ予測にどの程度寄与するか？
• RQ4 トランスファーラーニングによる性能向上は、大規模データセットで顕著に現れるか？
• RQ5 事前学習済みCNNからの深層特徴量と組み合わせた線形SVMは、素材分類を効果的に行えるか？

主な発見

• 最良のシステムは、線形SVMとトランスファーラーニングを用いて、平均平均精度（mAP）約92.5％を達成した。
• トランスファーラーニングは、特に大規模データセットにおいて分類精度を顕著に向上させた。これは、反射率と照 shade の手がかりをよりよく捉えることで実現された。
• 最終全結合層の1つ前の全結合層から得られる特徴量は、最終畳み込み層の特徴量よりも、素材分類においてより判別力に富んでいた。
• トランスファーラーニングによる性能向上は、画像の多様性が高く、サンプル数が多いデータセットで顕著に現れた。
• 評価された9種類のCNNアーキテクチャの中で、ResNetおよびDenseNetの変種が、すべてのデータセットで優れた一般化性能を示した。
• 本研究は、反射率と照 shade が素材認識に重要な視覚的手がかりであることを確認し、それらの効果的な抽出が分類性能の向上に寄与することを示した。