[논문 리뷰] Adversarial Loss for Semantic Segmentation of Aerial Imagery

Clint Sebastian, Raffaele Imbriaco외 2명|arXiv (Cornell University)|2020. 01. 13.

Automated Road and Building Extraction참고 문헌 20인용 수 8

한 줄 요약

이 논문은 항공 영상의 의미적 세그멘테이션 성능을 향상시키기 위해 적대적 손실과 교차 엔트로피 손실을 조합한 새로운 손실 함수를 제안한다. 특히 건물 추출에 초점을 맞추고 있다. 적대적 훈련을 활용하여 후처리 없이도 구조적 일관성과 에지 정밀도를 향상시키며, DeepLab v3+를 사용하여 매사추세츠 건물 데이터셋에서 95.59%의 새로운 최고 성능(relaxed F₁ 점수)을 달 đạt하였다.

ABSTRACT

Automatic building extraction from aerial imagery has several applications in urban planning, disaster management, and change detection. In recent years, several works have adopted deep convolutional neural networks (CNNs) for building extraction, since they produce rich features that are invariant against lighting conditions, shadows, etc. Although several advances have been made, building extraction from aerial imagery still presents multiple challenges. Most of the deep learning segmentation methods optimize the per-pixel loss with respect to the ground truth without knowledge of the context. This often leads to imperfect outputs that may lead to missing or unrefined regions. In this work, we propose a novel loss function combining both adversarial and cross-entropy losses that learn to understand both local and global contexts for semantic segmentation. The newly proposed loss function deployed on the DeepLab v3+ network obtains state-of-the-art results on the Massachusetts buildings dataset. The loss function improves the structure and refines the edges of buildings without requiring any of the commonly used post-processing methods, such as Conditional Random Fields. We also perform ablation studies to understand the impact of the adversarial loss. Finally, the proposed method achieves a relaxed F1 score of 95.59% on the Massachusetts buildings dataset compared to the previous best F1 of 94.88%.

연구 동기 및 목표

• 표준 픽셀별 교차 엔트로피 손실이 항공 영상 의미적 세그멘테이션에서 예측이 불완전하거나 구조적으로 불완전한 결과를 초래하는 한계를 해결하기 위함.
• 적대적 훈련을 통해 전반적인 맥락 이해를 통합함으로써 구조적 일관성과 에지 정의를 향상시켜 세그멘테이션 품질을 향상시키기 위함.
• 조건부 랜덤 필드(CRFs)와 같은 후처리 기법에 의존하지 않도록, 맥락 보정을 손실 함수에 직접 통합함으로써 이를 제거하기 위함.
• 경량적이고 효율적인 훈련 파이프라인을 사용하여 매사추세츠 건물 데이터셋에서 최고 성능을 달성하기 위함.

제안 방법

• 실제 진짜 마스크와 생성된 예측 마스크를 구분하도록 훈련된 디스criminator 네트워크로부터 유도된 적대적 손실과 표준 교차 엔트로피 손실을 조합한 하이브리드 손실 함수를 도입함.
• 결합된 손실 함수를 사용해 세그멘테이션 네트워크를 엔드 투 엔드로 훈련함으로써 생성자(세그멘테이션 네트워크)가 더 현실적이고 구조적으로 정확한 출력을 생성하도록 유도함.
• 로컬 및 글로벌 수준의 이미지 실재성을 평가하기 위해 PatchGAN 디스criminator를 사용함으로써 모델이 고수준의 맥락적 특징을 학습하도록 유도함.
• 일반화 성능를 검증하기 위해 DeepLab v3+, PSPNet, FC-DenseNet 등 다양한 아키텍처에 손실 함수를 적용함.
• 특히 낮은 데이터 환경에서의 강건성과 일반화 능력을 향상시키기 위해 데이터 증강 기법을 활용함.
• 추론 단계에서는 디스criminator를 폐기함으로써 추가적인 계산 비용이 발생하지 않도록 함.

실험 결과

연구 질문

• RQ1 표준 교차 엔트로피 손실을 초월하여, 적대적 훈련이 항공 영상 의미적 세그멘테이션의 구조적 품질과 경계 정확도를 향상시킬 수 있는가?
• RQ2 픽셀 기반 교차 엔트로피 손실과 적대적 손실을 조합함으로써, 건물 세그멘테이션에서 CRFs와 같은 후처리 기법의 필요성을 줄일 수 있는가?
• RQ3 제안된 손실 함수는 매사추세츠 건물 데이터셋에서 다양한 백본 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ4 적대적 구성 요소가 맥락 이해 능력을 향상시키고, 건물 세그멘테이션에서 잘못된 양성/음성 결과를 얼마나 줄이는가?

주요 결과

• 제안된 방법은 매사추세츠 건물 데이터셋에서 95.59%의 릴랙스드 F₁ 점수를 달성하여 이전 최고 성능인 94.88%를 초월하였다.
• FC-DenseNet에 적용했을 때 적대적 손실 추가로 릴랙스드 F₁ 점수는 1.26%p 향상되었으며, 릴랙스드 IoU는 2.28%p 향상되었다.
• PSPNet와 FC-DenseNet 양쪽에서 정확도, F₁, IoU 등 모든 평가 지표에서 일관되게 성능 향상을 보이며, 아키텍처 간 일반화 능력을 입증하였다.
• 적대적 손실은 에지 정밀도를 향상시키고 누락된 영역을 메우며, 후처리 없이도 더 구조적으로 일관되고 현실적인 건물 마스크를 생성한다.
• 제거 실험(ablation study) 결과, 적대적 구성 요소 자체가 구조적 정밀도와 경계 정확도 향상에 크게 기여하는 것으로 확인되었다.
• 디스criminator는 추론 시 사용되지 않기 때문에 추가 추론 비용 없이도 SOTA 성능을 달성하였다.