[논문 리뷰] Quantity beats quality for semantic segmentation of corrosion in images

Will Nash, Tom Drummond외 1명|arXiv (Cornell University)|2018. 06. 30.

Non-Destructive Testing Techniques참고 문헌 1인용 수 3

한 줄 요약

이 연구는 대량의 노이즈가 있는 250장의 부식 영상 데이터셋을 학부생들이 라벨링한 것으로 훈련한 완전 컨volutional 네트워크(FCN)가, 전문가가 라벨링한 10장의 소규모 데이터셋을 사용한 훈련보다 성능이 뛰어나다는 것을 보여준다. 이는 전문가 라벨링의 품질이 더 높음에도 불구하고, 부식과 같은 복잡한 전문 분야의 세그멘테이션 작업에서는 데이터 양이 품질을 압도한다는 핵심 발견을 한다. 모델이 충분한 훈련 예제를 통해 노이즈에 강건해지며, 제한된 전문가 라벨링 데이터에 비해 더 낮은 오버피팅과 더 나은 일반화 성능을 달성하기 때문이다.

ABSTRACT

Dataset creation is typically one of the first steps when applying Artificial Intelligence methods to a new task; and the real world performance of models hinges on the quality and quantity of data available. Producing an image dataset for semantic segmentation is resource intensive, particularly for specialist subjects where class segmentation is not able to be effectively farmed out. The benefit of producing a large, but poorly labelled, dataset versus a small, expertly segmented dataset for semantic segmentation is an open question. Here we show that a large, noisy dataset outperforms a small, expertly segmented dataset for training a Fully Convolutional Network model for semantic segmentation of corrosion in images. A large dataset of 250 images with segmentations labelled by undergraduates and a second dataset of just 10 images, with segmentations labelled by subject matter experts were produced. The mean Intersection over Union and micro F-score metrics were compared after training for 50,000 epochs. This work is illustrative for researchers setting out to develop deep learning models for detection and location of specialist features.

연구 동기 및 목표

• 대규모 노이즈 있는 데이터셋과 소규모 전문가 라벨링 데이터셋 중 어느 것이 영상 부식 세그멘테이션 작업에서 더 뛰어난 성능을 내는가를 조사하는 것.
• 전문가 시각 작업을 위한 딥러닝 모델 훈련에서 데이터 품질과 데이터 양 간의 상호 보완적 관계를 평가하는 것.
• 비전문가가 라벨링한 데이터에서 발생하는 노이즈가 전문가의 고품질 라벨링에 비해 모델 성능을 크게 떨어뜨리는가를 판단하는 것.
• 부식 검출과 같은 전문 분야에서 비전문가 라벨링을 활용한 대규모 데이터셋 구축의 가능성을 평가하는 것.
• 자원이 제한된 전문 분야 환경에서 세그멘테이션 작업을 위한 실용적인 훈련 전략을 제안하는 것.

제안 방법

• 두 데이터셋을 생성함: DS-A는 학부생들이 라벨링한 250장의 영상(저품질 라벨), DS-B는 부식 전문가가 라벨링한 10장의 영상(고품질, 다중 클래스 라벨).
• 완전 컨volutional 네트워크(FCN)를 강력한 지도 학습 방식으로 픽셀 단위 라벨을 사용해 두 데이터셋 모두에 대해 훈련함.
• 모든 데이터셋에서 50,000 에포크 동안 훈련을 수행하고, 평균 인터섹션 오버 유니온(mIoU)과 마이크로 F-score 지표를 사용해 성능을 평가함.
• DS-A에서 훈련한 모델을 DS-B에서 훈련한 모델과 비교하여 일반화 능력과 라벨 노이즈에 대한 강건성 평가.
• DS-B에서 다중 클래스 모델을 훈련하여 경도, 중간, 심한 부식 클래스에 대한 성능 평가.
• 대규모 노이즈 있는 데이터셋에서 사전 훈련한 후 소규모 전문가 라벨링 데이터셋을 사용해 미세조정(fine-tuning)하는 것이 향후 성능 향상 전략으로 제안됨.

실험 결과

연구 질문

• RQ1 대규모 노이즈 있는 비전문가 라벨링 데이터셋이 소규모 전문가 라벨링 데이터셋보다 영상 부식 세그멘테이션 성능에서 뛰어나게 되는가?
• RQ2 비전문가 라벨링에서 발생하는 라벨 노이즈가 고품질 전문가 라벨링에 비해 모델 성능을 얼마나 떨어뜨리는가?
• RQ3 경계가 모호한 불완전한 라벨 예제가 많은 경우에도 딥러닝 모델이 효과적으로 일반화할 수 있는가?
• RQ4 제한된 다양성과 소규모 전문가 라벨링 데이터셋에서 훈련할 경우 오버피팅 문제가 심각한가?
• RQ5 전문가 자원이 부족한 전문 분야에서 세그멘테이션 작업을 위한 최적의 훈련 전략은 무엇인가?

주요 결과

• 대규모 노이즈 있는 데이터셋(DS-A)에서 훈련한 모델은 평균 인터섹션 오버 유니온(mIoU) 0.29와 마이크로 F-score 0.23을 기록했으며, 이는 소규모 전문가 데이터셋(DS-B)에서 훈련한 모델보다 뛰어난 성능을 보였다.
• DS-B 모델은 심한 오버피팅을 보였으며, 특히 이미지 3에서 성능이 급격히 떨어져 제한된 훈련 데이터로 인한 일반화 능력 부족을 시사했다.
• DS-A 모델은 라벨 노이즈에 대해 더 뛰어난 강건성을 보였으며, 라벨 경계의 정확도가 떨어져도 충분한 훈련 예제 덕분에 일반화 가능한 특징을 학습할 수 있었다.
• DS-B의 총 라벨링 픽셀 수는 2700만 개에 불과했고, 이는 13400만 개의 가중치를 가진 모델을 오버피팅 없이 훈련시키기에 부족했다.
• DS-B 모델은 검증 세트에서 mIoU 0.26과 마이크로 F-score 0.27을 기록했으며, 이는 DS-A 모델의 지표보다 유의미하게 낮았다.
• 이 연구는 대규모 노이즈 있는 데이터셋에서 사전 훈련한 후 소규모 전문가 라벨링 데이터셋을 사용해 미세조정하는 전략이 부식 세그멘테이션 작업에서 정확도 향상과 클래스 구분 능력 향상에 실용적이고 효과적인 방법임을 결론 내린다.