[論文レビュー] Semi-Supervised Segmentation of Concrete Aggregate Using Consensus Regularisation and Prior Guidance

Max Coenen, Thomas Schack+3 more|arXiv (Cornell University)|Apr 22, 2021

Infrastructure Maintenance and Monitoring参考文献 25被引用数 15

ひとこと要約

本稿では、コンSENSUS正則化とプライオリティガイドド損失を組み合わせることで、クラス分布が不均衡なデータセットにおいて性能を向上させる、コンクリートのアスファルト粒子を対象とした半教師ありセマンティックセグメンテーションフレームワークを提案する。クラス分布の事前知識とオートエンコーダー再構成制約を、軽量なエンコーダデコーダアーキテクチャに統合することで、マイノリティクラスのリCALLが標準的一致性学習に比べて最大9.8%向上した。一方で、新たに導入された高解像度のコンクリートコアデータセットにおいても高い全体的な精度を維持した。

ABSTRACT

In order to leverage and profit from unlabelled data, semi-supervised frameworks for semantic segmentation based on consistency training have been proven to be powerful tools to significantly improve the performance of purely supervised segmentation learning. However, the consensus principle behind consistency training has at least one drawback, which we identify in this paper: imbalanced label distributions within the data. To overcome the limitations of standard consistency training, we propose a novel semi-supervised framework for semantic segmentation, introducing additional losses based on prior knowledge. Specifically, we propose a light-weight architecture consisting of a shared encoder and a main decoder, which is trained in a supervised manner. An auxiliary decoder is added as additional branch in order to make use of unlabelled data based on consensus training, and we add additional constraints derived from prior information on the class distribution and on auto-encoder regularisation. Experiments performed on our "concrete aggregate dataset" presented in this paper demonstrate the effectiveness of the proposed approach, outperforming the segmentation results achieved by purely supervised segmentation and standard consistency training.

研究の動機と目的

• クラス分布が不均衡な状況下で、標準的一致性学習が半教師ありセマンティックセグメンテーションに及ぼす制限を是正すること。
• 堆積画像におけるマイノリティクラスであるコンクリートアスファルト粒子のセグメンテーション性能を、期待されるラベル頻度分布に関する事前知識を組み込むことで向上させること。
• パラメータ数を少なく抑えつつ最先端の性能を達成できる、軽量で効率的なディープラーニングアーキテクチャの開発。
• ピクセルレベルのアノテーションを備えた、コンクリートアスファルトセグメンテーションのための新しい高解像度ベンチマークデータセットの作成と公開。

提案手法

• 限定的なラベル付きデータに対して、共有エンコーダとメインデコーダを教師あり学習で訓練する。
• 未ラベルデータに対する一貫性学習を可能にするために、データオーグメンテーションを用いた第2のブランチとして補助デコーダを導入する。
• 期待されるクラス頻度分布に基づいて、未ラベルデータの予測を正則化するため、ラベル空間にプライオリティガイドド損失を適用する。
• データの潜在的分布を学習し、特徴表現を向上させるために、画像空間にオートエンコーダー再構成損失を追加する。
• これらの正則化を一貫性学習と組み合わせ、同一画像のオーグメント済みビューの予測が一致するように促進する。
• 残差ブロックとディープワイズ分離型畳み込みを用いた軽量なアーキテクチャを採用することで、モデルの複雑さを低減しながらも性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡が、半教師ありセマンティックセグメンテーションにおける標準的一致性学習の性能にどのように影響を与えるか？
• RQ2 クラス頻度分布に関する事前知識を組み込むことで、不均衡データセットにおけるマイノリティクラスのセグメンテーション性能は向上するか？
• RQ3 オートエンコーダー再構成損失は、半教師あり設定において、特徴学習とセグメンテーション精度をどの程度向上させるか？
• RQ4 本手法のフレームワークは、完全教師あり学習および標準的一致性学習と比較して、F1スコアおよび全体精度の観点でどの程度優れているか？
• RQ5 ラベル付きデータの量を変化させた場合、本手法の半教師あり学習性能にどのような影響が生じるか？

主な発見

• 本手法は、Unetアーキテクチャ上で標準的一致性学習に比べ、マイノリティクラス（アスファルト粒子）のリCALLが最大9.8%向上した。
• R-S-Netアーキテクチャ上では、完全フレームワークが一貫性のみのバージョンに比べ、アスファルト粒子のリCALLが3.2%向上し、F1スコアが4.1ポイント向上した。
• 完全フレームワークの全体精度（OA）はUnetで92.8%、R-S-Netで92.4%に達し、教師ありおよび標準的一致性学習ベースラインを上回った。
• 半教師あり学習による性能向上は、データの10%しかラベルが付与されていないT1設定で最も顕著であり、教師ありベースラインに比べてOAが4.9%向上した。
• アブレーションスタディの結果、性能向上の最大の寄与はT1からT3（ラベル付きデータを3倍に）の段階で見られた。ベースバージョンではOAが4.9%上昇した。
• 事前知識とオートエンコーダー正則化の統合により、アスファルト粒子の誤って否定された予測（FN）が効果的に削減されたことが、定性的な結果からも視覚的に確認された。