[논문 리뷰] ConsInstancy: Learning Instance Representations for Semi-Supervised Panoptic Segmentation of Concrete Aggregate Particles

Max Coenen, Tobias Schack외 3명|arXiv (Cornell University)|2022. 04. 10.

Infrastructure Maintenance and Monitoring참고 문헌 24인용 수 17

한 줄 요약

이 논문은 3차원 방향성 맵과 보완 거리 변환 맵이라는 새로운 인스턴스 표현을 사용하여 콘크리트 암거 입자에 대한 페럴렉틱 세그멘테이션을 위한 준지도 학습 프레임워크 ConsInstancy를 제안한다. 이 표현들은 하나의 전방 전파를 통해 예측되며, 비라벨 데이터에서 예측된 인스턴스 표현과 세그멘테이션 결과 간의 일관성을 강제함으로써 성능을 향상시킨다. 이로 인해 완전히 지도 학습한 경우보다 최대 5% 높은 전체 정확도를 달성하며, 두 가지 과도한 데이터셋(새로운 신선한 콘크리트 데이터셋 포함)에서 최신 준지도 학습 방법보다 최대 1.5% 높은 성능을 기록한다.

ABSTRACT

We present a semi-supervised method for panoptic segmentation based on ConsInstancy regularisation, a novel strategy for semi-supervised learning. It leverages completely unlabelled data by enforcing consistency between predicted instance representations and semantic segmentations during training in order to improve the segmentation performance. To this end, we also propose new types of instance representations that can be predicted by one simple forward path through a fully convolutional network (FCN), delivering a convenient and simple-to-train framework for panoptic segmentation. More specifically, we propose the prediction of a three-dimensional instance orientation map as intermediate representation and two complementary distance transform maps as final representation, providing unique instance representations for a panoptic segmentation. We test our method on two challenging data sets of both, hardened and fresh concrete, the latter being proposed by the authors in this paper demonstrating the effectiveness of our approach, outperforming the results achieved by state-of-the-art methods for semi-supervised segmentation. In particular, we are able to show that by leveraging completely unlabeled data in our semi-supervised approach the achieved overall accuracy (OA) is increased by up to 5% compared to an entirely supervised training using only labeled data. Furthermore, we exceed the OA achieved by state-of-the-art semi-supervised methods by up to 1.5%.

연구 동기 및 목표

• 밀도 있고 작은 입자에 대해 인스턴스 인식 세그멘테이션의 높은 주석 비용 문제를 해결하기 위해.
• 제한된 라벨 데이터를 바탕으로 풍부한 비라벨 데이터를 준지도 학습 방식으로 활용하여 페럴렉틱 세그멘테이션 성능을 향상시키기 위해.
• 단일 전방 전파를 통해 끝내는 엔드 투 엔드 학습이 가능한 새로운 학습 가능한 인스턴스 표현을 도입하기 위해.
• 신선한 콘크리트 데이터셋을 포함한 경坚 및 신선한 콘크리트 데이터셋에서의 방법의 유효성을 입증하기 위해.
• 콘크리트 암거의 페럴렉틱 세그멘테이션에서 기존 준지도 및 지도 학습 최신 기법들을 능가하는 성능을 달성하기 위해.

제안 방법

• 공간적 인스턴스 구조를 인코딩하기 위해 중간 표현으로 3차원 인스턴스 방향성 맵을 제안한다.
• 유일한 인스턴스 식별을 위한 최종 인스턴스 표현으로 상호 보완적인 두 개의 거리 변환 맵(Iδ+ 및 Iδ−)을 도입한다.
• 세분화 및 인스턴스 표현을 위한 공유 인코더와 별도의 디코더를 갖춘 다중 작업 완전 컨volution 네트워크(FCN)를 적용한다.
• 비라벨 데이터에서 예측된 인스턴스 표현과 세그멘테이션 결과 간의 일관성을 강제하는 ConsInstancy 정규화를 적용한다.
• 예측된 인스턴스 맵를 세그멘테이션 출력과 정렬시키는 일관성 손실을 사용하여 일반화 성능을 향상시킨다.
• 라벨 데이터는 감독 학습을 위해, 비라벨 데이터는 일관성 정규화를 위해 사용하여 주석 의존도를 낮춘다.

실험 결과

연구 질문

• RQ1 새로운 인스턴스 표현이 단일 전방 전파에서 효과적이고 효율적인 페럴렉틱 세그멘테이션을 가능하게 할 수 있는가?
• RQ2 ConsInstancy 정규화는 비라벨 데이터를 효과적으로 활용하여 페럴렉틱 세그멘테이션 성능을 향상시키는가?
• RQ3 제안된 방법은 콘크리트 암거 세그멘테이션에서 최신 준지도 및 지도 학습 기법보다 뛰어난 성능을 달성할 수 있는가?
• RQ4 경계가 뚜렷하지 않은 신선한 콘크리트와 같은 도전적인 데이터 분포로 일반화 가능한가?
• RQ5 준지도 학습은 콘크리트 영상에서 비용이 많이 드는 인스턴스 수준 주석의 필요성을 얼마나 줄일 수 있는가?

주요 결과

• ConsInstancy 방법은 라벨 데이터만을 사용한 완전 지도 학습 대비 전체 정확도(OA)를 최대 5% 향상시킨다.
• 沈殿 데이터셋에서 인스턴스 세그멘테이션의 평균 F1 스코어는 2.6% 향상되고, 세그멘테이션의 평균 F1 스코어는 1.9% 향상된다.
• 신선한 콘크리트 데이터셋에서 ConsInstancy 변종은 PQ 스코어 39.0%와 F inst1 스코어 52.6%를 기록하며, 최고의 지도 학습 기반선 대비 각각 8.0%와 9.4% 높은 성능을 기록한다.
• 집합체 클래스에 대한 오분류 예측 수를 줄였으며, 이는 정밀도 스코어가 유의미하게 향상된 것으로 확인된다.
• 특히 신선한 콘크리트 데이터셋에서 최신 준지도 학습 방법보다 전체 정확도를 최대 1.5% 높게 달성하며 성능을 뛰어나게 한다.
• 정성적 결과에서는 지도 기반 기준선 대비 ConsInstancy 변종이 더 부드러운 인스턴스 경계와 더 적은 오류 세그멘테이션 아티팩트를 보여준다.