[논문 리뷰] Crack Detection as a Weakly-Supervised Problem: Towards Achieving Less Annotation-Intensive Crack Detectors

Yuki Inoue, Hiroto Nagayoshi|arXiv (Cornell University)|2020. 11. 04.

Infrastructure Maintenance and Monitoring참고 문헌 21인용 수 5

한 줄 요약

이 논문은 깊이 학습 모델과 픽셀 밝기 기반 비지도 학습 브랜치를 조합한 약한 지도 학습 프레임워크를 제안하여, 고비용의 픽셀 수준의 주석에 대한 의존도를 크게 감소시킨다. 이 방법은 낮은 품질의 주석 조건에서도 높은 탐지 정확도를 유지하며, 일반화 능력 향상을 통해 주석 노이즈와 클래스 불균형에 대해 강건함을 입증한다.

ABSTRACT

Automatic crack detection is a critical task that has the potential to drastically reduce labor-intensive building and road inspections currently being done manually. Recent studies in this field have significantly improved the detection accuracy. However, the methods often heavily rely on costly annotation processes. In addition, to handle a wide variety of target domains, new batches of annotations are usually required for each new environment. This makes the data annotation cost a significant bottleneck when deploying crack detection systems in real life. To resolve this issue, we formulate the crack detection problem as a weakly-supervised problem and propose a two-branched framework. By combining predictions of a supervised model trained on low quality annotations with predictions based on pixel brightness, our framework is less affected by the annotation quality. Experimental results show that the proposed framework retains high detection accuracy even when provided with low quality annotations. Implementation of the proposed framework is publicly available at https://github.com/hitachi-rd-cv/weakly-sup-crackdet.

연구 동기 및 목표

• 특정 현장에 특화된 구현을 위한 픽셀 수준의 지도 학습에 따른 높은 주석 비용 문제 해결
• 이미지 수준 또는 낮은 품질의 픽셀 주석을 사용하여 균열 탐지 문제를 약한 지도 학습 문제로 재정의함으로써 정밀하고 고비용인 주석에 대한 의존도 감소
• 어떤 의미 분할 네트워크에도 쉽게 통합되어 약한 지도 학습 조건에서 더 나은 성능을 내는 플러그 앤 플레이 컴포넌트 개발
• 손실 함수에서 높은 클래스 가중치로 인한 과다 탐지와 클래스 불균형 문제에 대한 강건성 향상
• 각 현장에서 재주석이 필요 없도록 다양한 환경 간 이식성 확보

제안 방법

• 이미지 수준 또는 낮은 품질의 픽셀 주석을 사용하여 균열 탐지를 약한 지도 학습 문제로 재정의
• 이중 브랜치 아키텍처 도입: 매크로 브랜치(지도 학습)는 낮은 품질의 주석으로 훈련되고, 마이크로 브랜치(비지도 학습)는 픽셀 밝기 기반
• 학습 가능한 융합 메커니즘을 사용해 두 브랜치의 예측을 융합하여 세그멘테이션 출력을 정밀하게 보정
• 손실 함수에서 높은 클래스 가중치로 인한 과다 탐지를 억제하기 위해 마이크로 브랜치 활용
• 표준 교차 엔트로피 손실을 사용해 전체 프레임워크를 엔드 투 엔드로 훈련하며, 균열 모양이나 무늬와 무관하게 밝기를 약한 신호로 활용
• 세트의 네트워크 아키텍처(예: Aigle, DCD) 네 개를 사용해 세 개의 데이터셋에서 일반화 능력을 평가하기 위해 프레임워크 적용

실험 결과

연구 질문

• RQ1 이미지 수준 레이블이나 거친 세그멘테이션 마스크와 같은 낮은 품질의 주석으로 훈련된 약한 지도 학습 프레임워크가 높은 탐지 정확도를 유지할 수 있는가?
• RQ2 어두움 기반 비지도 학습 브랜치가 약한 지도 학습 모델과 융합되었을 때 탐지 성능 향상에 얼마나 효과적인가?
• RQ3 제안된 프레임워크가 손실 함수 내 클래스 재균형 가중치에 대해 얼마나 민감도를 감소시키는가?
• RQ4 각 현장에서 재주석이 필요 없이 다양한 데이터셋과 아키텍처 간 일반화가 가능한가?
• RQ5 마이크로 브랜치의 포함 여부가 특히 노이즈가 많고 도전적인 환경에서 높은 클래스 가중치로 인한 과다 탐지 문제를 얼마나 줄이는가?

주요 결과

• 제안된 프레임워크는 거친 또는 팽창된 주석으로 훈련된 경우에도 높은 탐지 정확도(F1-score > 0.85)를 달성하며, 여러 데이터셋에서 성능 유지
• 마이크로 브랜치는 높은 클래스 가중치로 인한 과다 탐지를 효과적으로 억제하여 Aigle 및 DCD와 같은 모델에서 성능 저하를 최대 30% 감소시킴
• 최적의 클래스 가중치보다 100배 높은 가중치로 훈련된 모델에서도 마이크로 브랜치가 포함된 경우 F1 점수가 향상되어 하이퍼파rameter 잘못 설정에 대한 강건성 향상
• 프레임워크는 클래스 재균형 가중치에 대한 민감도를 감소시켜 더 안정적이고 정밀한 하이퍼파rameter 튜닝에 의존도를 낮춤
• 시각적 분석 결과, 마이크로 브랜치가 활성화되었을 때 매크로 브랜치의 예측이 어두운 영역에 대해 덜 편향되며, 비균열 어두운 영역에서의 임의의 양성 결과 감소 확인
• 프레임워크는 네 가지 다른 아키텍처와 세 개의 데이터셋에서 강력한 성능 유지를 유지하여 광범위한 적용 가능성과 이식성 입증