[논문 리뷰] Unsupervised Pixel-level Road Defect Detection via Adversarial Image-to-Frequency Transform

Jongmin Yu, Du Yong Kim외 2명|arXiv (Cornell University)|2020. 01. 30.

Infrastructure Maintenance and Monitoring참고 문헌 32인용 수 4

한 줄 요약

이 논문은 악성 이미지-주파수 변환(AIFT)을 제안하며, 결함 레이블이 필요하지 않은 비지도 학습 방법으로서 픽셀 수준의 도로 결함 검출을 위한 것이다. 악성 학습을 통해 정상 도로 이미지만을 사용하여 주파수 도메인으로 이미지를 매핑함으로써, 다양한 벤치마크 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성한다. 대부분의 경우 지도 학습 및 비지도 학습 방법을 능가하며, GAPs384에서 이전 SOTA보다 3% 향상되었고, Cracktree200에서 8.8% 향상되었다.

ABSTRACT

In the past few years, the performance of road defect detection has been remarkably improved thanks to advancements on various studies on computer vision and deep learning. Although a large-scale and well-annotated datasets enhance the performance of detecting road pavement defects to some extent, it is still challengeable to derive a model which can perform reliably for various road conditions in practice, because it is intractable to construct a dataset considering diverse road conditions and defect patterns. To end this, we propose an unsupervised approach to detecting road defects, using Adversarial Image-to-Frequency Transform (AIFT). AIFT adopts the unsupervised manner and adversarial learning in deriving the defect detection model, so AIFT does not need annotations for road pavement defects. We evaluate the efficiency of AIFT using GAPs384 dataset, Cracktree200 dataset, CRACK500 dataset, and CFD dataset. The experimental results demonstrate that the proposed approach detects various road detects, and it outperforms existing state-of-the-art approaches.

연구 동기 및 목표

• 실제 도로 결함 데이터셋의 제한된 다양성으로 인해 지도 학습 모델의 일반화 능력이 저하되는 문제를 해결한다.
• 새로운 패턴에 과적합될 수 있는 복원 기반 비지도 학습 방법의 한계를 극복한다.
• 악성 학습을 활용하여 다양한 조건에서 다양한 도로 결함을 안정적으로, 레이블 없이 검출할 수 있는 강력한 방법을 개발한다.
• 이미지 공간과 주파수 공간 간의 도메인 변환을 통해 검출 신뢰도를 향상시켜, 지도 학습 레이블 없이도 모델의 일반화 능력을 향상시킨다.

제안 방법

• 정상 도로 이미지를 주파수 도메인으로 매핑하기 위해 악성 학습을 사용하는 생성 모델을 훈련하며, 생성자 G와 두 개의 판별자(DI 및 DF)를 사용한다.
• 주파수-이미지 및 이미지-주파수 복원 과정에서 구조적 무결성을 유지하기 위해 사이클 일致성 손실을 구현한다.
• 악성 손실, 사이클 일치 손실, 인지 손실을 조합한 총 손실을 사용하여 생성자와 판별자를 동시에 최적화한다.
• 복원 불일치를 측정하여 결함을 검출한다: 이미지-주파수 또는 주파수-이미지 사이클에서 높은 오차가 발생하면 잠재적인 결함으로 간주한다.
• 픽셀 수준의 레이블 없이도 복원 오차 맵에 임계값 기반 이상 탐지 메커니즘을 적용하여 결함을 국소화한다.
• 주파수 도메인 표현을 활용하여 특징의 분류 능력을 향상시켜, 조명 및 날씨 변화에 강건한 모델을 만든다.

Figure 1 : Architectural detail of the adversarial image-to-frequency transform. The blue objects denote the operation units including the generator $G$ and the discriminators $\mathcal{D}^{I}$ and $\mathcal{D}^{F}$ . The red circles indicate the loss functions corresponded to the each operation uni

실험 결과

연구 질문

• RQ1 이미지-주파수 도메인에서의 악성 학습이 복원 기반 방법을 초월하여 비지도 도로 결함 검출을 향상시킬 수 있는가?
• RQ2 이미지와 주파수 공간 간의 도메인 변환이 조명 및 날씨와 같은 실제 환경 변화에 대한 강건성을 향상시키는가?
• RQ3 정상 도로 이미지만으로 훈련된 모델이 어떤 결함 데이터 레이블 없이도 다양한 결함 패턴을 검출할 수 있는가?
• RQ4 여러 벤치마크에서 AIFT는 최신 기술(SOTA) 지도 및 비지도 학습 방법과 비교해 이상 탐지 성능에서 어떻게 성과를 내는가?
• RQ5 순수하게 복원 기반 학습에 비해 악성 손실을 사용함으로써 검출 일반화 능력이 향상되는가?

주요 결과

• AIFT_total(총 손실로 훈련된 모델)은 GAPs384 데이터셋에서 AIU 0.083, ODS 0.249, OIS 0.247를 기록하여, 당시 SOTA였던 FPHBN보다 ODS 및 OIS에서 각각 3% 향상되었다.
• Cracktree200 데이터셋에서 AIFT_total는 AIU 0.045, ODS 0.607, OIS 0.642를 기록하여 이전 비지도 학습 방법보다 8.8% 향상되었다.
• CFD 데이터셋에서 AIFT_total는 AIU 0.203, ODS 0.701, OIS 0.732를 기록하여 기존 비지도 및 지도 기반 기준 모델보다 뛰어난 성능을 보였다.
• 모든 데이터셋에서 복원 기반 AIFT(AIFT_re)보다 AIFT_total가 뛰어난 성능을 보여, 악성 학습이 검출의 강건성과 일반화 능력을 향상시킨다는 점을 확인했다.
• CRACK500 데이터셋에서는 FPHBN이 0.489 AIU로 최고 점수를 기록했지만, AIFT_total는 0.478 AIU를 기록하여 어떤 훈련 레이블 없이도 강력한 성능을 보였다.
• 그림 4의 AIU 추세는 악성 학습된 AIFT 모델이 복원 기반 대비 더 나은 일반화 능력을 보이며, 특히 미세하거나 희귀한 결함 패턴을 탐지하는 데서 뚜렷한 우수성을 보임을 확인한다.

Figure 2 : Structural details of the network models in the generator $G$ and the discriminators $\mathcal{D}^{I}$ and $\mathcal{D}^{F}$ . (a) and (b) denote the structural details of the generator $G$ and the two discriminators $\mathcal{D}^{I}$ and $\mathcal{D}^{F}$ , respectively. The green, blue,