[논문 리뷰] Assessing out-of-domain generalization for robust building damage detection

Vitus Benson, Alexander Ecker|arXiv (Cornell University)|2020. 11. 20.

Infrastructure Maintenance and Monitoring참고 문헌 24인용 수 15

한 줄 요약

이 논문은 위성 영상에서 건물 손상 탐지에 대해 도메인 외 일반화(Out-of-Distribution, OOD) 성능을 평가하며, 훈련 중에 볼 수 없었던 재난에 대해 최신 기술 모델의 성능 저하가 심각하게 나타남을 규명한다. 내재적 분포(IID) 성능은 실제 OOD 성능을 예측하는 데에 부적절하며, 다중 도메인 적응형 배치 정규화(Multi-domain adaptive batch normalization)와 확률적 가중치 평균화(Stochastic Weight Averaging) 기법이 모델의 강건성 향상에 기여함을 보여준다.

ABSTRACT

An important step for limiting the negative impact of natural disasters is rapid damage assessment after a disaster occurred. For instance, building damage detection can be automated by applying computer vision techniques to satellite imagery. Such models operate in a multi-domain setting: every disaster is inherently different (new geolocation, unique circumstances), and models must be robust to a shift in distribution between disaster imagery available for training and the images of the new event. Accordingly, estimating real-world performance requires an out-of-domain (OOD) test set. However, building damage detection models have so far been evaluated mostly in the simpler yet unrealistic in-distribution (IID) test setting. Here we argue that future work should focus on the OOD regime instead. We assess OOD performance of two competitive damage detection models and find that existing state-of-the-art models show a substantial generalization gap: their performance drops when evaluated OOD on new disasters not used during training. Moreover, IID performance is not predictive of OOD performance, rendering current benchmarks uninformative about real-world performance. Code and model weights are available at https://github.com/ecker-lab/robust-bdd.

연구 동기 및 목표

• 도메인 외 분포 이격 상황에서 건물 손상 탐지 모델의 실제 세계에서의 강건성을 평가하기 위해.
• 훈련 데이터와 동일한 분포에서의 테스트 세트에 대한 의존성으로 인해 실제 재난 상황에서 성능이 과대 평가됨을 도전하기 위해.
• 훈련 중에 볼 수 없었던 재난을 사용하여 새로운 OOD 테스트 벤치마크(OOD-xBD)를 설계하고 검증하기 위해.
• 기존의 강건성 기법인 다중 도메인 AdaBN과 SWA가 OOD 일반화 성능 향상에 기여하는지 조사하기 위해.
• 현재 최고 성능(SOTA) 모델이 새로운 재난에서 상당한 성능 저하를 보이며 실용적 적용 가능성에 위협을 가한다는 점을 입증하기 위해.

제안 방법

• xBD 데이터셋을 재난 유형별로 분할하여, 훈련과 테스트 재난 간에 겹침이 없도록 하여 OOD 테스트 세트(OOD-xBD)를 구축하였다.
• xView2 스코어를 사용하여, 두 개의 최신 기술 모델—Two-stream ResNet50 및 Dual-HRNet—을 IID 및 OOD 테스트 세트에서 평가하였다.
• 다중 도메인 적응형 배치 정규화(AdaBN)를 적용하여 도메인 불변 배치 통계를 학습함으로써 도메인 일반화 성능을 향상시켰다.
• 확률적 가중치 평균화(SWA)를 사용하여 여러 훈련 에포크 동안의 가중치 평균을 통해 모델 일반화 성능을 향상시켰다.
• 여러 개의 OOD 테스트 분할에 대해 성능을 비교하고, 기존의 Gupta & Shah(2020)의 OOD 세트와 새로운 OOD-xBD 세트에서 강건성 기법의 성능 향상을 평가하였다.
• 성능 저하를 정량화하기 위해 평균 xView2 스코어와 표준편차를 사용하여 일반화 갭(IID - OOD)을 보고하였다.

실험 결과

연구 질문

• RQ1 훈련 중에 볼 수 없었던 도메인 외 재난에서 최신 기술 건물 손상 탐지 모델의 성능은 어떠한가?
• RQ2 건물 손상 탐지에서 내재적 분포(IID) 성능과 도메인 외(OOD) 성능 간의 상관관계는 어느 정도인가?
• RQ3 다중 도메인 AdaBN과 확률적 가중치 평균화(SWA)와 같은 기존의 강건성 기법이 OOD 일반화 성능 향상에 기여하는가?
• RQ4 관측된 일반화 갭은 데이터셋 분할의 예외적 특성 때문인가, 아니면 현재 모델의 근본적인 한계 때문인가?
• RQ5 더 현실적인 OOD 벤치마크(OOD-xBD)는 실제 재난 상황에서 모델 강건성 평가에 신뢰할 수 있는 기준을 제공할 수 있는가?

주요 결과

• Two-stream ResNet50 모델은 IID 데이터에서 xView2 스코어 0.74를 기록했지만, OOD-xBD에서는 0.60으로 떨어져 일반화 갭이 0.14로 나타났다.
• Dual-HRNet는 일반화 갭이 0.06으로 더 작았으며, IID에서 0.73, OOD-xBD에서 0.67을 기록했지만 여전히 새로운 재난에서 성능이 열등했다.
• 유사한 IID 스코어를 기록한 모델들이 OOD 성능에서 큰 격차를 보이며, IID 성능은 OOD 성능을 예측하는 데에 부적절하다는 점을 확인했다.
• 다중 도메인 AdaBN과 SWA의 조합으로 Two-stream ResNet50의 OOD 스코어가 OOD-xBD 세트에서 0.59에서 0.65로 향상되어 일반화 갭이 0.07로 감소했다.
• 다중 도메인 AdaBN은 Dual-HRNet 모델의 OOD 일반화 성능 향상에 가장 큰 기여를 했으며, OOD-xBD에서 전체 일반화 갭이 0.04로 가장 작아졌다.
• 결과적으로 강건성 기법이 OOD 일반화 성능 향상에 상당한 기여를 하며, 여전히 상당한 성능 갭이 존재함을 확인했으며, 이는 BDD 분야에서 보다 나은 도메인 일반화 방법 개발의 필요성을 강조한다.