[논문 리뷰] Multi-class segmentation under severe class imbalance: A case study in roof damage assessment

Jean-Baptiste Boin, Nat Roth외 3명|arXiv (Cornell University)|2020. 10. 14.

Infrastructure Maintenance and Monitoring참고 문헌 12인용 수 8

한 줄 요약

이 논문은 위성 영상에서 屋根 손상 평가의 심각한 클래스 불균형 상황에서 다중 클래스 의미적 세분화를 향상시키기 위해 네 가지 기법을 제안한다. 새로운 오버샘플링 전략과 아키텍처 개선(보조 헤드, 클래스별 헤드, 시그모이드 활성화)을 조합함으로써 소수의 손상 클래스(예: 경미한, 중간, 파손된)에서 매크로 평균 F1 점수 기준으로 정확도가 39.9个百分点 향상되었으며, 기준 모델보다 유의미하게 뛰어난 성능을 보였다.

ABSTRACT

The task of roof damage classification and segmentation from overhead imagery presents unique challenges. In this work we choose to address the challenge posed due to strong class imbalance. We propose four distinct techniques that aim at mitigating this problem. Through a new scheme that feeds the data to the network by oversampling the minority classes, and three other network architectural improvements, we manage to boost the macro-averaged F1-score of a model by 39.9 percentage points, thus achieving improved segmentation performance, especially on the minority classes.

연구 동기 및 목표

• 위성 영상에서의 屋根 손상 다중 클래스 의미적 세분화에서 심각한 클래스 불균형 문제를 해결하기 위해.
• 재해 후 데이터셋에서 희귀한 손상 클래스(예: 경미한, 중간, 파손된)의 성능을 향상시키기 위해.
• 샘플링 전략과 네트워크 아키텍처 수정을 포함한 여러 기법을 평가하고 조합하여 자원 부족 상황에서도 견고한 성능을 확보하기 위해.
• 이러한 방법이 실제로 실재의 재해 대응 상황에서 소수 클래스에 특히 뛰어난 세분화 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• 모든 훈련 배치에 각 전경 손상 클래스에서 적어도 하나의 양성 예외가 포함되도록 보장하는 새로운 데이터 샘플링 기법을 제안하여, 배경 전용 해에 수렴하는 것을 방지한다.
• 각 손상 클래스별로 별도의 손실 헤드를 갖춘 보조 헤드를 도입하여 희귀 클래스의 특징 학습을 향상시킨다.
• 공유 헤드 대신 각 클래스별로 별도의 헤드를 사용하고 개별 시그모이드 활성화를 적용함으로써 각 클래스별로 독립적으로 최적화할 수 있도록 한다.
• 표준 소프트맥스 출력을 각 클래스별 시그모이드 활성화로 대체하고, 각 클래스에 대해 딱시 손실을 사용함으로써 불균형 데이터에서의 훈련 안정성을 향상시킨다.
• 9개의 다운샘플링 레이어, 각 해상도당 3개의 컨볼루션, 배치 정규화, ReLU 활성화를 갖춘 수정된 U-Net 백본을 사용하며, 최종 예측을 위한 별도의 U-Net 헤드를 적용한다.
• 배경을 제외한 각 클래스에 대해 딱시 손실을 사용하고 검증 손실을 최소화하는 가중치를 선택하며, 성능 평가를 위해 마이크로 및 매크로 평균 F1 점수를 사용한다.

실험 결과

연구 질문

• RQ1 모든 손상 클래스에 걸쳐 배치의 다양성을 보장하는 제약된 샘플링 전략이 불균형한 屋根 손상 세분화에서 모델 성능에 어떤 영향을 미치는가?
• RQ2 보조 헤드 및 클래스별 헤드와 같은 아키텍처 수정이 희귀 손상 클래스의 세분화에 얼마나 기여하는가?
• RQ3 공유 분류 헤드를 클래스별 시그모이드 헤드로 대체하는 것이 불균형한 다중 클래스 세분화 상황에서 소수 클래스의 성능에 영향을 미치는가?
• RQ4 다양한 손실 및 활성화 함수(예: 딱시 손실 + 시그모이드 vs. 교차 엔트로피 + 소프트맥스)가 불균형 설정에서의 모델 수렴 및 성능에 어떤 영향을 미치는가?
• RQ5 샘플링, 아키텍처 변경, 손실 설계를 조합하는 것이 세분화 정확도, 특히 소수 클래스에서 상호 보완적인 향상을 이끌어낼 수 있는가?

주요 결과

• 제안된 오버샘플링 전략만으로도 매크로 평균 F1 점수가 기준 모델 대비 35.9个百分点 향상되어 그 영향력이 뚜렷하게 드러났다.
• 모든 네 가지 기법을 모두 적용한 최종 모델은 매크로 평균 F1 점수에서 기준 모델 대비 39.9个百分点 향상되었으며, 기법 간 강력한 상호보완 효과가 있음을 시사한다.
• 기준 모델은 모든 소수 클래스(경미한 손상, 중간 손상, 파손됨)에서 F1 점수를 0으로 기록하여 클래스 불균형 문제의 심각성을 확인시켰다.
• 최종 모델의 혼동 행렬을 분석한 결과, 가장 큰 오류 원인은 파손된 클래스에서의 거짓 음성(이상치)이었으며, 이는 재해 후 영상에서 구조물이 완전히 사라진 데 기인할 가능성이 높다.
• 제거 분석을 통해 네 가지 기법 모두 성능 향상에 기여했으며, 특히 샘플링 방법이 가장 뚜렷한 개별 영향을 미쳤다.
• 최종 모델은 클래스 간 혼동을 크게 줄였으며, 특히 이전에 잘못 분류되었던 소수 클래스에 대해 정규화된 혼동 행렬에서 대각선 우세도가 향상되었다.