[論文レビュー] ConsInstancy: Learning Instance Representations for Semi-Supervised Panoptic Segmentation of Concrete Aggregate Particles

Max Coenen, Tobias Schack+3 more|arXiv (Cornell University)|Apr 10, 2022

Infrastructure Maintenance and Monitoring参考文献 24被引用数 17

ひとこと要約

本論文では、3次元方向マップと補完的距離変換マップという、新たなインスタンス表現を用いた半教師あり学習フレームワーク、ConsInstancyを提案する。これらは、完全畳み込みネットワークを1回の順伝播で予測される。無限データにおける予測されたインスタンス表現とセマンティックセグメンテーションの整合性を強制することで、性能が向上し、完全教師あり学習に比べて最大5%高い全体精度を達成し、2つの挑戦的なデータセット（新規の生コンクリートデータセットも含む）において、最先端の半教師あり手法を最大1.5%上回る性能を示した。

ABSTRACT

We present a semi-supervised method for panoptic segmentation based on ConsInstancy regularisation, a novel strategy for semi-supervised learning. It leverages completely unlabelled data by enforcing consistency between predicted instance representations and semantic segmentations during training in order to improve the segmentation performance. To this end, we also propose new types of instance representations that can be predicted by one simple forward path through a fully convolutional network (FCN), delivering a convenient and simple-to-train framework for panoptic segmentation. More specifically, we propose the prediction of a three-dimensional instance orientation map as intermediate representation and two complementary distance transform maps as final representation, providing unique instance representations for a panoptic segmentation. We test our method on two challenging data sets of both, hardened and fresh concrete, the latter being proposed by the authors in this paper demonstrating the effectiveness of our approach, outperforming the results achieved by state-of-the-art methods for semi-supervised segmentation. In particular, we are able to show that by leveraging completely unlabeled data in our semi-supervised approach the achieved overall accuracy (OA) is increased by up to 5% compared to an entirely supervised training using only labeled data. Furthermore, we exceed the OA achieved by state-of-the-art semi-supervised methods by up to 1.5%.

研究の動機と目的

• コンクリート画像におけるインスタンス認識セグメンテーションの高コストなアノテーション問題に取り組むこと。特に、密集した小さな粒子に対して有効であることを目的とする。
• 限られたラベル付きデータを用いて、豊富な未ラベルデータを半教師あり的に活用することで、パノプティックセグメンテーションの性能を向上させること。
• エンドツーエンドの学習が可能で、1回の順伝播で実現可能な、学習可能な新たなインスタンス表現を導入すること。
• 硬化コンクリートおよび生コンクリートの両方のデータセット、特に新規の生コンクリートデータセットを用いて、本手法の有効性を示すこと。
• コンクリートアグリゲートのパノプティックセグメンテーションにおいて、既存の半教師ありおよび教師ありの最先端手法を上回ること。

提案手法

• 空間的インスタンス構造を符号化するための、中間表現としての3次元インスタンス方向マップを提案する。
• 一意なインスタンス同定のための最終的インスタンス表現として、2つの補完的距離変換マップ（Iδ+ と Iδ−）を導入する。
• セマンティックおよびインスタンス表現のための共有エンコーダと別々のデコーダを備えたマルチタスク完全畳み込みネットワーク（FCN）を採用する。
• ConsInstancy正則化を適用し、トレーニング中に未ラベルデータにおいて予測されたインスタンス表現とセマンティックセグメンテーションの整合性を強制する。
• 予測されたインスタンスマップとセマンティックセグメンテーション出力を一致させる一貫性損失を用い、一般化性能を向上させる。
• ラベル付きデータによる監視と未ラベルデータによる一貫性正則化を併用することで、アノテーション依存度を低減する。

実験結果

リサーチクエスチョン

• RQ1 新たなインスタンス表現は、1回の順伝播で効果的かつ効率的なパノプティックセグメンテーションを可能にするか？
• RQ2 ConsInstancy正則化は、未ラベルデータを活用してパノプティックセグメンテーション性能を向上させるのにどの程度有効か？
• RQ3 提案手法は、最先端の半教師ありおよび教師あり手法に比べ、コンクリートアグリゲートセグメンテーションで優れた性能を達成できるか？
• RQ4 本手法は、境界が不明瞭な生コンクリートのような困難なデータ分布に対しても一般化可能か？
• RQ5 半教師あり学習は、コンクリート画像における高価なインスタンスレベルのアノテーションの必要性をどの程度低減できるか？

主な発見

• ConsInstancy手法は、ラベル付きデータのみを用いた完全教師あり学習に比べ、全体精度（OA）が最大5%向上した。
• 沈降データセットでは、インスタンスセグメンテーションの平均F1スコアが2.6%向上し、セマンティックセグメンテーションでは1.9%向上した。
• 生コンクリートデータセットでは、ConsInstancyバージョンがPQスコア39.0%、F inst1スコア52.6%を達成し、最良の教師ありベースラインをそれぞれ8.0%、9.4%上回った。
• アグリゲートクラスにおける誤検出（ファルスポジティブ）予測が減少し、有意に改善された精度スコアからその効果が裏付けられた。
• 特に生コンクリートデータセットにおいて、最先端の半教師あり手法を最大1.5%上回る全体精度を達成し、優れた性能を示した。
• 定性的な結果から、ConsInstancyバージョンは、教師ありベースラインに比べ、滑らかなインスタンス境界と、より少ない誤ったセグメンテーションアーチファクトを示した。