[論文レビュー] Material Classification in the Wild: Do Synthesized Training Data Generalise Better than Real-World Training Data?

Grigorios Kalliatakis, Anca Sticlaru+5 more|arXiv (Cornell University)|Nov 9, 2017

Advanced Neural Network Applications参考文献 23被引用数 4

ひとこと要約

本稿では、制約のない環境における材料分類において、合成されたトレーニングデータが現実世界のデータよりも一般化性能に優れているかどうかを調査する。3つの現実世界の材料データセットで事前学習された畳み込みニューラルネットワーク（CNN）を用いて、合成データが平均平均精度（mAP）を5%から19%向上させ、クロスデータセット評価では最大91.03%を達成した。これは、現実のデータよりも優れた一般化性能を示している。

ABSTRACT

We question the dominant role of real-world training images in the field of material classification by investigating whether synthesized data can generalise more effectively than real-world data. Experimental results on three challenging real-world material databases show that the best performing pre-trained convolutional neural network (CNN) architectures can achieve up to 91.03% mean average precision when classifying materials in cross-dataset scenarios. We demonstrate that synthesized data achieve an improvement on mean average precision when used as training data and in conjunction with pre-trained CNN architectures, which spans from ~ 5% to ~ 19% across three widely used material databases of real-world images.

研究の動機と目的

• 制約のない環境における材料分類において、現実世界のトレーニングデータが優れているという仮定に挑戦すること。
• 合成データが材料認識タスクにおいて、現実世界のデータよりも一般化性能が優れているかどうかを評価すること。
• 事前学習されたCNNが、現実世界の材料データベースに対して合成データで微調整された場合の性能を評価すること。
• クロスデータセット評価設定下で、3つの広く使われている現実世界の材料データセット間での一般化性能を比較すること。

提案手法

• 制御された条件下で生成された合成材料データを用いて、事前学習された畳み込みニューラルネットワーク（CNN）アーキテクチャをトレーニングすること。
• クロスデータセット設定下で、3つの現実世界の材料データベースにおけるモデル性能を評価し、一般化性能を測定すること。
• モデル間の性能比較に、平均平均精度（mAP）を主な指標として用いること。
• 合成トレーニングサンプルの多様性と現実性を向上させるために、データオーグメンテーションおよびドメインランダマイゼーション技術を適用すること。
• ImageNetで事前学習されたCNNを合成データで微調整した後、現実世界のテストセットでテストすること。
• データソース（現実 vs. 合成）がモデルの一般化性能に与える影響を評価するためのアブレーションスタディを実施すること。

実験結果

リサーチクエスチョン

• RQ1 材料分類タスクにおいて、合成トレーニングデータは現実世界のトレーニングデータよりも一般化性能が優れているか？
• RQ2 異なる現実世界の材料データベースにおいて、合成データでトレーニングした場合と現実世界のデータでトレーニングした場合のモデル性能はどのように異なるか？
• RQ3 クロスデータセット材料分類シナリオにおいて、合成データの使用が平均平均精度にどの程度向上効果をもたらすか？
• RQ4 事前学習されたCNNを合成トレーニングデータと組み合わせることで、一般化性能が向上するか？

主な発見

• 評価された3つの現実世界の材料データベースにおいて、合成トレーニングデータは現実世界のデータと比較して平均平均精度（mAP）を最大19%向上させた。
• 合成データでトレーニングした最良のモデルは、クロスデータセット材料分類において91.03%の平均平均精度を達成した。
• 合成データによるmAP向上効果は、3つの現実世界の材料データセットすべてで一貫しており、mAPは5%から19%の向上を示した。
• 合成データで微調整した事前学習CNNは、現実世界のデータで微調整したモデルよりも、クロスデータセット評価においてより効果的に一般化した。
• 結果から、制約のない環境における堅牢な材料分類モデルのトレーニングにおいて、合成データが現実世界のデータよりも効果的である可能性が示された。