[논문 리뷰] From Classification to Segmentation with Explainable AI: A Study on Crack Detection and Growth Monitoring

Florent Forest, Hugo Porta외 2명|arXiv (Cornell University)|2023. 09. 20.

Infrastructure Maintenance and MonitoringEngineering인용 수 3

한 줄 요약

이 논문은 이미지 수준의 레이블만을 요구하는 약한 지도 학습 방법을 제안하며, 설명 가능한 AI(XAI)를 활용해 이진 분류기의 설명에서 픽셀 수준의 마스크를 생성함으로써 균열 세그멘테이션과 성장 모니터링을 수행한다. 결과적으로 LRP 기반 XAI는 약 0.4의 유의미한 F1 스코어를 달성했으며, 완전 지도 학습 방법에 비해 세그멘테이션 품질이 낮지만 균열 심각도 모니터링에 효과적임을 보였다.

ABSTRACT

Monitoring surface cracks in infrastructure is crucial for structural health monitoring. Automatic visual inspection offers an effective solution, especially in hard-to-reach areas. Machine learning approaches have proven their effectiveness but typically require large annotated datasets for supervised training. Once a crack is detected, monitoring its severity often demands precise segmentation of the damage. However, pixel-level annotation of images for segmentation is labor-intensive. To mitigate this cost, one can leverage explainable artificial intelligence (XAI) to derive segmentations from the explanations of a classifier, requiring only weak image-level supervision. This paper proposes applying this methodology to segment and monitor surface cracks. We evaluate the performance of various XAI methods and examine how this approach facilitates severity quantification and growth monitoring. Results reveal that while the resulting segmentation masks may exhibit lower quality than those produced by supervised methods, they remain meaningful and enable severity monitoring, thus reducing substantial labeling costs.

연구 동기 및 목표

• 설명 가능한 AI를 통해 약한 지도 학습을 활용하여 균열 세그멘테이션에서 픽셀 수준의 레이블링 비용을 줄인다.
• 이미지 수준의 레이블만을 사용하여 표면 균열의 심각도 정량화 및 장기적인 성장 모니터링을 가능하게 한다.
• 다양한 XAI 방법이 분류기 설명에서 의미 있는 세그멘테이션 마스크를 생성하는 데 성능을 평가한다.
• 예를 들어 손상 없는 이미지를 기준으로 사용하는 등의 XAI 방법의 수정을 제안하여 균열 탐지에 대한 설명 품질을 향상시킨다.
• XAI 유도 마스크가 실질적인 구조 건강 모니터링 작업(예: 균열 면적 및 너비 추정)에 사용 가능한지 평가한다.

제안 방법

• 이미지 수준의 레이블을 사용하여 손상 없는 벽면 이미지와 균열이 있는 벽면 이미지를 구분하는 이진 분류기를 훈련시킨다.
• 다양한 XAI 방법—예를 들어 LRP, 통합 기울기(Integrated Gradients), DeepLift, GradientShap, Input×Gradient—를 적용하여 훈련된 분류기에서 기여도 맵을 생성한다.
• 균열 탐지에 대한 설명 정밀도를 향상시키기 위해 통합 기울기와 DeepLift에서 손상 없는 이미지를 기준으로 사용한다.
• 단순 임계값 설정 및 가우시안 혼합 모델(GMM) 후처리를 포함한 임계값 설정을 통해 기여도 맵을 이진 세그멘테이션 마스크로 변환한다.
• 최종 마스크의 노이즈를 줄이고 정제하기 위해 형태학적 연산을 적용한다.
• 결과 마스크를 사용하여 세그멘테이션 모니터링를 위한 심각도 지표(예: 균열 면적, 최대 너비, 균열 수)를 계산한다.

실험 결과

연구 질문

• RQ1 XAI 기반 기여도 맵은 균열 심각도 정량화 및 성장 모니터링에 충분한 품질의 세그멘테이션 마스크를 생성할 수 있는가?
• RQ2 다양한 XAI 방법 간에 세그멘테이션 품질, 계산 효율성, 균열 진화 모니터링 능력 측면에서 어떤 차이가 있는가?
• RQ3 손상 없는 이미지를 기준으로 사용하는 등의 방법론적 수정이 균열 탐지에 대한 XAI 설명 품질에 어떤 영향을 미치는가?
• RQ4 실제 구조 건강 모니터링에서 XAI 기반 세그멘테이션은 완전 지도 학습 세그멘테이션을 대체하거나 보완할 수 있는가?
• RQ5 과도하게 균열 범위를 확대할 수 있음에도 불구하고, XAI 기반 마스크는 시간에 따라 균열 심각도 변화를 효과적으로 추적할 수 있는가?

주요 결과

• 레이어별 기여도 전파(LRP) 방법이 세그멘테이션 품질, 성장 모니터링 능력, 계산 효율성의 균형을 가장 잘 달성했다.
• XAI 기반 마스크는 약 0.4의 F1 스코어를 기록했으며, U-Net과 같은 완전 지도 학습 방법에 비해 낮지만, 오토인코더와 같은 비지도 학습 접근보다는 유의미하게 뛰어났다.
• XAI 기반 세그멘테이션의 계산 런타임은 U-Net 추론과 비슷한 수준이었으며, Input×Gradient가 가장 빠르게(0.251 s/image), 통합 기울기가 가장 느렸다(50개의 보간 단계로 인해).
• 단순 임계값 설정(0.018 s/image) 대비 GMM 임계값 설정 후처리를 통해 런타임이 약 10배 증가(0.372 s/image)했지만, 마스크 품질이 향상되었다.
• 균열 범위가 과도하게 확대되더라도, 이 방법은 특히 균열 면적 및 균열 수와 같은 지표에서 시간에 따른 심각도 변화 추적에 효과적으로 기여했다.
• 통합 기울기와 DeepLift에서 손상 없는 이미지를 기준으로 사용하는 방식의 수정이 설명 품질을 향상시켰으며, 특히 배경 노이즈와 진짜 균열 패턴을 구분하는 데 유의미한 기여를 하였다.