[論文レビュー] Quantity beats quality for semantic segmentation of corrosion in images

Will Nash, Tom Drummond+1 more|arXiv (Cornell University)|Jun 30, 2018

Non-Destructive Testing Techniques参考文献 1被引用数 3

ひとこと要約

本研究では、大学学部生がラベル付けした250枚のノイズが多い腐食画像データセットを用いた完全畳み込みネットワーク（FCN）の学習が、10枚の専門家がラベル付けした高品質なデータセットを用いた学習を上回ることを示している。この結果は、腐食のような専門的で複雑な分野において、データ量がラベル品質を上回ることを示しており、十分な数の訓練例によりモデルのノイズ耐性が向上し、限定的な専門家ラベルデータに比べてより良い汎化性能と低い過学習が達成されることを示している。

ABSTRACT

Dataset creation is typically one of the first steps when applying Artificial Intelligence methods to a new task; and the real world performance of models hinges on the quality and quantity of data available. Producing an image dataset for semantic segmentation is resource intensive, particularly for specialist subjects where class segmentation is not able to be effectively farmed out. The benefit of producing a large, but poorly labelled, dataset versus a small, expertly segmented dataset for semantic segmentation is an open question. Here we show that a large, noisy dataset outperforms a small, expertly segmented dataset for training a Fully Convolutional Network model for semantic segmentation of corrosion in images. A large dataset of 250 images with segmentations labelled by undergraduates and a second dataset of just 10 images, with segmentations labelled by subject matter experts were produced. The mean Intersection over Union and micro F-score metrics were compared after training for 50,000 epochs. This work is illustrative for researchers setting out to develop deep learning models for detection and location of specialist features.

研究の動機と目的

• 腐食画像のセマンティックセグメンテーションにおいて、大規模でノイズを含むデータセットと小規模で専門家がラベル付けしたデータセットのどちらが優れた性能を示すかを調査すること。
• 専門的視覚タスクのための深層学習モデルを学習する際、データ品質とデータ量のトレードオフを評価すること。
• 非専門家によるラベル付けによるノイズが、高品質な専門家ラベルに比べてモデル性能を著しく低下させるかどうかを特定すること。
• 腐食検出のような専門分野において、非専門家によるラベル付けを用いて大規模データセットを構築する可能性を評価すること。
• リソースが限られた専門分野のシナリオにおいて、セマンティックセグメンテーションの実用的訓練戦略を提案すること。

提案手法

• 2つのデータセットを構築した：DS-Aは250枚の画像を学部生がセグメンテーションした（低品質ラベル）、DS-Bは10枚の画像を腐食専門家がラベル付けした（高品質、マルチクラスラベル）。
• 完全畳み込みネットワーク（FCN）を、ピクセル単位のアノテーションを用いた強力な教師信号で両データセットに対して学習させた。
• 両データセットで50,000エポックにわたり学習を行い、mIoUとマイクロFスコアという指標で性能を評価した。
• DS-Aで学習したモデルとDS-Bで学習したモデルを比較し、汎化性能とラベルノイズへの耐性を評価した。
• DS-Bでマルチクラスモデルを学習し、軽度・中程度・重度の腐食クラスの性能を評価した。
• 大規模なノイズを含むデータセットで事前学習した後、小規模な専門家ラベルデータセットで微調整する戦略を提案した。

実験結果

リサーチクエスチョン

• RQ1 大規模でノイズを含む非専門家ラベルのデータセットは、小規模で専門家がラベル付けしたデータセットを上回る性能を示すか？
• RQ2 非専門家によるラベル付けによるノイズは、高品質なラベルに比べてモデル性能をどの程度低下させるか？
• RQ3 境界が曖昧な不完全なラベル例が多数存在する場合でも、深層学習モデルは十分な数の不正確な例から効果的に一般化できるか？
• RQ4 多様性に乏しい限られた訓練データで小規模な専門家ラベルデータセットを学習する際に、過学習が顕著な問題となるか？
• RQ5 専門的分野で専門家リソースが限られている状況において、セマンティックセグメンテーションの最適な訓練戦略は何か？

主な発見

• 大規模でノイズを含むデータセット（DS-A）で学習したモデルは、mIoUが0.29、マイクロFスコアが0.23を達成し、小規模な専門家データセット（DS-B）で学習したモデルを上回った。
• DS-Bモデルは顕著な過学習を示しており、特に画像3では性能が急激に低下し、限られた訓練データによる汎化能力の低さが顕在化した。
• DS-Aモデルはラベルノイズに対してより高い耐性を示した。訓練例の多さのおかげで、セグメンテーション境界の不正確さにもかかわらず、一般化可能な特徴を学習できた。
• DS-Bのラベル付きピクセル総数は2700万ピクセルにとどまり、1億3400万パラメータを持つモデルを過学習を避けずに学習させるには不十分だった。
• DS-BモデルはバリデーションセットでmIoUが0.26、マイクロFスコアが0.27を達成したが、DS-Aモデルの指標より顕著に低かった。
• 本研究は、大規模でノイズを含むデータセットで事前学習し、その後小規模な専門家ラベルデータセットで微調整する戦略が、腐食セグメンテーションの精度とクラス識別力の向上に実用的かつ効果的であると結論づけた。