[논문 리뷰] Synthetic Image Augmentation for Damage Region Segmentation using Conditional GAN with Structure Edge

Takato Yasuno, Michihiro Nakajima외 4명|arXiv (Cornell University)|2020. 05. 07.

Industrial Vision Systems and Defect Detection인용 수 5

한 줄 요약

이 논문은 교량 점검에서 손상 영역 분할 성능을 햖스하기 위해 조건부 GAN 기반의 합성 이미지 증강 방법을 제안한다. 정합성 + 구조 경계선을 포함한 삼중 분류 레이블을 사용하여 현실적인 손상 영역 이미지를 생성한다. Sobel 연산자를 통해 구조 경계선을 강화하고, 208张의 실제 사진에서 추출한 840개의 224×224 크기 자르기 이미지로 훈련함으로써, FCN-8s, SegNet, DeepLabv3+Xception-v2 등 다양한 모델에서 분할 성능을 향상시켰으며, 손상 영역의 희귀성(0.6–1.5% 픽셀 커버리지)에도 불구하고 평균 IoU, 정밀도, 재현율, F1 점수를 모두 향상시켰다.

ABSTRACT

Recently, social infrastructure is aging, and its predictive maintenance has become important issue. To monitor the state of infrastructures, bridge inspection is performed by human eye or bay drone. For diagnosis, primary damage region are recognized for repair targets. But, the degradation at worse level has rarely occurred, and the damage regions of interest are often narrow, so their ratio per image is extremely small pixel count, as experienced 0.6 to 1.5 percent. The both scarcity and imbalance property on the damage region of interest influences limited performance to detect damage. If additional data set of damaged images can be generated, it may enable to improve accuracy in damage region segmentation algorithm. We propose a synthetic augmentation procedure to generate damaged images using the image-to-image translation mapping from the tri-categorical label that consists the both semantic label and structure edge to the real damage image. We use the Sobel gradient operator to enhance structure edge. Actually, in case of bridge inspection, we apply the RC concrete structure with the number of 208 eye-inspection photos that rebar exposure have occurred, which are prepared 840 block images with size 224 by 224. We applied popular per-pixel segmentation algorithms such as the FCN-8s, SegNet, and DeepLabv3+Xception-v2. We demonstrates that re-training a data set added with synthetic augmentation procedure make higher accuracy based on indices the mean IoU, damage region of interest IoU, precision, recall, BF score when we predict test images.

연구 동기 및 목표

• 손상 픽셀이 전체 이미지 픽셀의 0.6–1.5%에 불과한 극심한 클래스 불균형 문제를 해결한다.
• 특히 철근 노출과 같은 희귀한 고갈 유형에 대해 실제 손상 이미지의 부족 문제를 해결한다.
• 훈련 데이터에 현실적인 합성 손상 이미지를 추가하여 세분화 모델의 성능을 향상시킨다.
• Sobel 연산자를 통해 구조 경계 정보를 통합하여 생성된 손상 영역의 기하학적 정확도를 유지한다.
• 합성 증강 파이프라인을 사용하여 여러 최신 세분화 네트워크에서 일관된 성능 향상을 입증한다.

제안 방법

• 삼중 분류 레이블 맵(세분화 + Sobel 처리된 구조 경계선)을 입력으로 받아 실제 손상 이미지로의 이미지-이미지 번역을 학습하는 조건부 GAN을 사용한다.
• 입력 레이블 맵의 구조 경계선을 강화하기 위해 Sobel 기울기 연산자를 적용하여 손상 지역 정확도에 중요한 세부 정보를 유지한다.
• 철근 노출이 나타나는 208장의 실제 교량 점검 이미지에서 추출한 840개의 224×224 크기 패치로 GAN을 훈련한다.
• 훈련된 조건부 GAN을 사용하여 합성 손상 이미지를 생성하고, 이를 원본 훈련 세트에 추가한다.
• 증강된 데이터셋을 기반으로 표준 세분화 모델(FCN-8s, SegNet, DeepLabv3+Xception-v2)을 미세 조정하고 평가한다.
• 평가 지표로는 평균 교차율(Intersection over Union, mIoU), 손상 영역별 IoU, 정밀도, 재현율, F1 점수를 사용한다.

실험 결과

연구 질문

• RQ1 조건부 GAN을 활용한 합성 데이터 생성이 교량 점검에서 희귀 손상 영역의 분할 성능 향상에 기여하는가?
• RQ2 Sobel 연산자를 통해 구조 경계 정보를 통합하면 생성된 손상 이미지의 현실성과 유용성이 향상되는가?
• RQ3 희귀 손상 영역(0.6–1.5% 커버리지)에서 합성 증강이 mIoU 및 F1 점수에 얼마나 큰 영향을 미치는가?
• RQ4 다양한 세분화 아키텍처(FCN-8s, SegNet, DeepLabv3+Xception-v2)는 제안된 증강 기법으로부터 어떤 정도의 성능 향상을 얻는가?
• RQ5 정밀도 및 재현율 등 다양한 평가 지표에서 손상 클래스에 대한 성능 향상이 일관되게 관찰되는가?

주요 결과

• 제안된 합성 증강 방법은 모든 평가된 세분화 모델에서 평균 교차율(mIoU)을 상당히 향상시켰다.
• 증강 데이터로 재학습한 후 손상 영역별 IoU가 증가하여 희귀 손상 픽셀의 정확한 국소화 능력 향상을 확인할 수 있었다.
• 정밀도, 재현율, F1 점수(BF 점수) 모두 유의미한 향상이 관찰되어 낮은 커버리지 손상 영역에 대한 탐지 능력 향상이 확인되었다.
• 입력 조건에 Sobel로 강화된 구조 경계선을 사용함으로써 더 현실적이고 기하학적으로 정확한 손상 영역 생성이 가능했다.
• FCN-8s, SegNet, DeepLabv3+Xception-v2 등 다양한 아키텍처에서 일관된 성능 향상이 관찰되었다.
• 실제 인프라 점검 환경에서의 데이터 부족과 클래스 불균형 문제에 효과적으로 대응할 수 있었다.