[논문 리뷰] Semi-Supervised Segmentation of Concrete Aggregate Using Consensus Regularisation and Prior Guidance

Max Coenen, Thomas Schack외 3명|arXiv (Cornell University)|2021. 04. 22.

Infrastructure Maintenance and Monitoring참고 문헌 25인용 수 15

한 줄 요약

이 논문은 공통 집합 입자에 대한 준감독형 의미적 세분화 프레임워크를 제안하며, 공통 규칙화와 사전 지침 손실을 조합하여 불균형 데이터셋에서 성능을 향상시킨다. 경량형 인코더-디코더 아키텍처에 클래스 분포 사전 지식과 오토인코더 복원 제약 조건을 통합함으로써, 소수 클래스의 재현율을 기존 일致성 훈련 대비 최대 9.8% 향상시켰으며, 새로 제안된 고해상도 콘크리트 코어 데이터셋에서 높은 전체 정확도를 유지한다.

ABSTRACT

In order to leverage and profit from unlabelled data, semi-supervised frameworks for semantic segmentation based on consistency training have been proven to be powerful tools to significantly improve the performance of purely supervised segmentation learning. However, the consensus principle behind consistency training has at least one drawback, which we identify in this paper: imbalanced label distributions within the data. To overcome the limitations of standard consistency training, we propose a novel semi-supervised framework for semantic segmentation, introducing additional losses based on prior knowledge. Specifically, we propose a light-weight architecture consisting of a shared encoder and a main decoder, which is trained in a supervised manner. An auxiliary decoder is added as additional branch in order to make use of unlabelled data based on consensus training, and we add additional constraints derived from prior information on the class distribution and on auto-encoder regularisation. Experiments performed on our "concrete aggregate dataset" presented in this paper demonstrate the effectiveness of the proposed approach, outperforming the segmentation results achieved by purely supervised segmentation and standard consistency training.

연구 동기 및 목표

• 클래스 분포가 불균형할 경우 표준 일치성 훈련이 준감독형 의미적 세분화에서 성능에 미치는 제한점을 해결하기 위해.
• sedimentation 영상에서 소수 클래스인 콘크리트 집합 입자의 세분화 성능을 향상시키기 위해 기대되는 레이블 분포에 대한 사전 지식을 통합하기 위해.
• 더 적은 파라미터로 최신 기술 수준의 성능을 달성하는 가벼운 효율적인 딥 러닝 아키텍처를 개발하기 위해.
• 픽셀 수준의 애너테이션을 포함한 새로운 고해상도 벤치마크 데이터셋을 제작하고 공개하기 위해.

제안 방법

• 제한된 레이블 데이터에 대해 공유 인코더와 메인 디코더를 감독 훈련 방식으로 학습한다.
• 비라벨 데이터에 대한 공동 훈련을 가능하게 하기 위해, 데이터 증강을 활용한 두 번째 브랜치로 보조 디코더를 도입한다.
• 기대되는 클래스 빈도 분포를 바탕으로 레이블 공간에서 사전 지도 손실을 적용하여 비라벨 데이터의 예측을 정규화한다.
• 이미지 공간에 오토인코더 복원 손실을 추가하여 데이터의 기본 분포를 학습하고 특징 표현을 향상시킨다.
• 이러한 정규화 조건을 일치성 훈련과 결합하여, 동일한 이미지의 증강된 시각에 대한 예측이 일치하도록 유도한다.
• 잔차 블록과 디프스와이즈 분리형 컨볼루션을 기반으로 한 가벼운 아키텍처를 사용하여 모델 복잡성을 줄이면서도 성능을 유지한다.

실험 결과

연구 질문

• RQ1 클래스 불균형이 준감독형 의미적 세분화에서 표준 일치성 훈련의 성능에 어떤 영향을 미치는가?
• RQ2 클래스 분포에 대한 사전 지식이 불균형 데이터셋에서 소수 클래스의 세분화 성능을 향상시킬 수 있는가?
• RQ3 오토인코더 복원 손실이 준감독 설정에서 특징 학습과 세분화 정확도에 어느 정도 기여하는가?
• RQ4 제안된 프레임워크는 순수 감독 훈련 및 표준 일치성 훈련 대비 F1 점수와 전체 정확도 측면에서 어떻게 비교되는가?
• RQ5 라벨된 데이터의 양을 다양하게 변화시켰을 때 제안된 준감독 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 Unet 아키텍처에서 표준 공동 훈련 대비 소수 클래스(집합 입자)의 재현율을 9.8% 향상시켰다.
• R-S-Net 아키텍처에서 전체 프레임워크는 공통 훈련 전용 변종 대비 집합 입자 재현율을 3.2% 향상시키고 F1 점수를 4.1 포인트 향상시켰다.
• 전체 정확도(OA)는 Unet 기반으로 92.8%, R-S-Net 기반으로 92.4%에 도달하여 감독 훈련 및 표준 준감독 기반 베이스라인을 모두 초월했다.
• 반감독 학습의 성능 향상은 라벨된 데이터가 10%에 불과한 T1 설정에서 가장 두드러졌으며, 감독 기반 베이스라인 대비 OA가 4.9% 향상되었다.
• 제거 실험에서 가장 큰 성능 향상은 T1과 T3(라벨된 데이터를 3배로 늘림) 사이에서 발생했으며, 기본 변종의 OA는 4.9% 향상되었다.
• 사전 지식 통합과 오토인코더 정규화의 융합은 시각적 결과를 통해 집합 입자에 대한 거짓 음성 수를 효과적으로 줄였다.