[논문 리뷰] Analysis on DeepLabV3+ Performance for Automatic Steel Defects Detection

Zheng Nie, Jiachen Xu외 1명|arXiv (Cornell University)|2020. 04. 09.

Industrial Vision Systems and Defect Detection참고 문헌 12인용 수 6

한 줄 요약

이 논문은 Severstal 데이터셋에서 자동 강재 결함 분할을 위한 DeepLabV3+에 ResNet101, EfficientNet-B1, DenseNet201 백본을 평가한다. 클래스 불균형을 해결하기 위해 무작위 가중치 데이터 증강을 사용하여, ResNet101과 EfficientNet-B1은 mIoU 0.57을 기록하며 DenseNet201(0.325)을 앞서며, ResNet101은 빠른 학습 시간을 보였다.

ABSTRACT

Our works experimented DeepLabV3+ with different backbones on a large volume of steel images aiming to automatically detect different types of steel defects. Our methods applied random weighted augmentation to balance different defects types in the training set. And then applied DeeplabV3+ model three different backbones, ResNet, DenseNet and EfficientNet, on segmenting defection regions on the steel images. Based on experiments, we found that applying ResNet101 or EfficientNet as backbones could reach the best IoU scores on the test set, which is around 0.57, comparing with 0.325 for using DenseNet. Also, DeepLabV3+ model with ResNet101 as backbone has the fewest training time.

연구 동기 및 목표

• 산업 환경에서의 자동 강재 결함 검출을 위한 DeepLabV3+의 다양한 백본(ResNet, DenseNet, EfficientNet) 성능을 조사하기 위해.
• 강재 결함 데이터셋의 심각한 클래스 불균형 문제를 해결하기 위해 맞춤형 무작위 가중치 데이터 증강 전략을 제안하기 위해.
• 실제 강재 표면 이미지에서 mIoU 및 학습 효율성 측면에서 모델 성능을 평가하기 위해.
• 특히 소규모 또는 분할된 결함에 대한 모델의 한계를 분석하기 위해.

제안 방법

• Severstal 케글 경진대회에서 확보한 대규모 강재 결함 데이터셋에 대해, 사전 학습된 ResNet101, DenseNet201, EfficientNet-B1 백본을 사용한 DeepLabV3+를 적용하였다.
• 클래스 빈도에 반비례하는 확률로 증강되는 방식을 통해 결함 클래스 빈도를 균형 잡기 위해 무작위 가중치 데이터 증강을 사용하였다.
• 무작위 자르기, 수직 뒤집기, 무작위 회전의 세 가지 증강 유형을 사용하였으며, 각 클래스에 맞는 가중치를 적용하여 증강된 이미지와 마스크의 공간적 및 의미적 일관성을 유지하였다.
• 학습을 위해 256×1700에서 256×256로 이미지 크기를 조정하였으며, 비교를 위해 추론 시 원본 해상도(256×1700)에서도 테스트를 실시하였다.
• 모델 평가에 대해 평균 교차율(Intersection over Union, mIoU)을 사용하였으며, 이는 테스트 샘플 전반의 IoU 점수 평균으로 계산되었다.
• 기본 모델인 DeepLabV3+ 베이스라인과 전체 인코더-디코더 모델을 비교하는 분석 실험을 통해 인코더 모듈의 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 ResNet101, DenseNet201, EfficientNet-B1 등의 다양한 백본 아키텍처가 DeepLabV3+의 강재 결함 분할 성능(mIoU)에 어떤 영향을 미치는가?
• RQ2 무작위 가중치 데이터 증강 기법이 불균형한 강재 결함 데이터셋에서 모델 일반화 능력을 얼마나 향상시키는가?
• RQ3 어느 백본이 분할 정확도(mIoU)와 학습 효율성 사이의 최적의 균형을 제공하는가?
• RQ4 평균 mIoU는 높지만 일부 샘플의 IoU 점수가 낮은 이유는 무엇이며, 데이터 불균형 또는 레이블 품질이 어떤 역할을 하는가?
• RQ5 모델은 인간 레이블러가 설정한 임계값 이하의 결함을 탐지할 수 있으며, 이는 mIoU 평가에 어떤 영향을 미치는가?

주요 결과

• ResNet101과 EfficientNet-B1 백본은 약 0.57의 최고 mIoU 점수를 기록하며, 베이스라인(0.29)과는 상당한 격차를 보이며 DenseNet201(0.325)을 압도적으로 앞섰다.
• ResNet101은 모든 백본 중에서 가장 빠른 학습 시간을 기록하여 실시간 산업 적용에 가장 효율적인 선택으로 나타났다.
• DenseNet201은 성능이 열악하여 mIoU가 0.325에 머물렀으며, 이는 클래스 1 및 2에서 흔한 소규모 및 분할된 결함에 대해 아키텍처가 민감하게 반응하기 때문으로 보인다.
• 낮은 IoU 점수는 주로 수량과 면적 측면에서 부족한 소규모 또는 극도로 분할된 결함(특히 클래스 1)과 관련이 높았다.
• 모델은 인간 레이블러가 기록하지 않은 너무 작은 결함까지 탐지하는 것을 확인하였으며, 이는 정답 레이블에 포함되지 않았지만 정확하게 예측된 것으로, 향후 레이블링 품질 향상 잠재력을 보여주었다.
• 시각적 분석 결과, 인코더-디코더 아키텍처는 기본 모델 대비 가장자리 국소화 및 분할 정밀도를 크게 향상시켰다.