[논문 리뷰] QuadFormer: Quadruple Transformer for Unsupervised Domain Adaptation in Power Line Segmentation of Aerial Images

Pratyaksh Prabhav Rao, Feng Qiao외 5명|arXiv (Cornell University)|2022. 11. 29.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 합성(소스) 및 실재(타겟) 항공 영상 간의 특징을 적응적으로 정렬하기 위해 교차 attention과 자기 attention 메커니즘을 활용하는 계층적 4중 transformer 아키텍처인 QuadFormer을 제안한다. 이는 전력선 분할을 위한 비지도 도메인 적응에서의 성능을 향상시킨다. 교차 도메인 컨텍스트를 활용한 온라인 가짜 라벨 보정을 통합함으로써, QuadFormer은 최신 기술 수준(SoTA)의 성능을 달성하여 ARPLSyn → ARPLReal에서 44.25 mIoU, ARPLSyn → TTPLA에서 46.32 mIoU의 성능을 기록한다.

ABSTRACT

Accurate segmentation of power lines in aerial images is essential to ensure the flight safety of aerial vehicles. Acquiring high-quality ground truth annotations for training a deep learning model is a laborious process. Therefore, developing algorithms that can leverage knowledge from labelled synthetic data to unlabelled real images is highly demanded. This process is studied in Unsupervised domain adaptation (UDA). Recent approaches to self-training have achieved remarkable performance in UDA for semantic segmentation, which trains a model with pseudo labels on the target domain. However, the pseudo labels are noisy due to a discrepancy in the two data distributions. We identify that context dependency is important for bridging this domain gap. Motivated by this, we propose QuadFormer, a novel framework designed for domain adaptive semantic segmentation. The hierarchical quadruple transformer combines cross-attention and self-attention mechanisms to adapt transferable context. Based on cross-attentive and self-attentive feature representations, we introduce a pseudo label correction scheme to online denoise the pseudo labels and reduce the domain gap. Additionally, we present two datasets - ARPLSyn and ARPLReal to further advance research in unsupervised domain adaptive powerline segmentation. Finally, experimental results indicate that our method achieves state-of-the-art performance for the domain adaptive power line segmentation on ARPLSyn$ ightarrow$TTTPLA and ARPLSyn$ ightarrow$ARPLReal.

연구 동기 및 목표

• 드론 비행 안전에 필수적인 전력선 분할의 정확도 향상을 위해, 고품질의 실재 영상 레이블이 부족한 문제를 해결한다.
• 조명, 색상, 배경의 차이로 인해 발생하는 합성(소스) 및 실재(타겟) 항공 영상 간의 도메인 이탈 문제를 완화한다.
• 자기 학습 기반 비지도 도메인 적응에서, 교차 도메인 컨텍스트 의존성을 활용하여 가짜 라벨 품질을 향상시켜 노이즈와 분포 불일치를 감소시킨다.
• 두 가지 새로운 데이터셋인 고품질 레이블이 부여된 ARPLSyn(합성) 및 ARPLReal(실재)을 공개함으로써, 도메인 적응 기반 전력선 분할 연구를 촉진한다.

제안 방법

• 각 도메인 내에서 자기 attention과 도메인 간에 교차 attention을 조합한 계층적 4중 transformer 아키텍처를 설계하여 이식 가능한, 컨텍스트 인식 특징 표현을 학습한다.
• 소스 및 타겟 특징 간의 교차 attention을 통합하여 상호 도메인 컨텍스트 의존성을 모델링하고, 의미 분포를 정렬함으로써 도메인 이탈을 감소시킨다.
• 학습 중에 노이즈가 있는 가짜 라벨를 개선하기 위해 교차 주의력 프로토타입을 활용한 온라인 가짜 라벨 보정 메커니즘을 구현하여, 라벨 일관성과 강건성을 향상시킨다.
• 다단계 학습 전략을 적용한다: 먼저 소스 도메인에서 사전 학습을 수행하고, 이후 타겟 도메인에서 반복적인 가짜 라벨 생성 및 보정을 수행하는 자기 학습을 적용한다.
• 학습 안정화 및 도메인 간 특징 분포 정렬을 위해 일致성 정규화와 적대적 손실을 적용한다.
• 성능 평가를 위해 경량 백본(예: MiT-B0)을 사용하여 학습하고, 점진적으로 더 큰 아키텍처(예: MiT-B5)로 확장한다.

실험 결과

연구 질문

• RQ1 교차 도메인 컨텍스트 모델링을 통한 교차 attention이 전력선 분할을 위한 비지도 도메인 적응에서 도메인 이탈을 현저히 감소시키는가?
• RQ2 교차 주의력 프로토타입을 활용한 온라인 가짜 라벨 보정은 실재 영상에서 레이블 없이 분할 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ3 계층적 주의력 통합(자기 주의력 및 교차 주의력)은 전력선과 같은 얇고 분할된 구조물의 특징 표현 학습을 얼마나 향상시키는가?
• RQ4 다양한 실재 항공 영상 환경에서의 도메인 일반화 능력 측면에서 기존 최신 기술 수준(SoTA) 방법과 비교해 본다면, 제안된 방법은 어떤가?
• RQ5 자기 주의력, 교차 주의력, 적대적 손실, 가짜 라벨 노이즈 제거 기능 각각이 타겟 도메인에서의 최종 성능에 기여하는 정도는 어떠한가?

주요 결과

• QuadFormer은 ARPLSyn → TTPLA 적응 벤치마크에서 최신 기술 수준의 mIoU 46.32를 달성하여 이전 방법들을 뛰어넘는다.
• 더 도전적인 ARPLSyn → ARPLReal 벤치마크에서 QuadFormer은 44.25 mIoU를 기록하여 조명, 줌, 배경의 복잡한 실재 변형에 대해 뛰어난 강건성을 보여준다.
• 절단 실험 결과, 소스 및 타겟 특징 양쪽에 교차 주의력을 통합할 경우 성능이 가장 높게 나타났다(39.65 mIoU), 이는 교차 도메인 컨텍스트 모델링의 중요성을 확인한다.
• 제안된 온라인 가짜 라벨 보정 메커니즘이 가장 큰 성능 향상을 기여하여, 소스 전용 기반 모델(25.67에서 39.65) 대비 mIoU를 14.0% 향상시켰다.
• 절단 실험 결과, 자기 주의력, 적대적 손실, 가짜 라벨 노이즈 제거를 조합할 경우 최고의 성능을 기록하였으며, 각 구성 요소가 도메인 정렬에 점진적으로 기여하는 것으로 확인되었다.
• 정성적 결과에서는, 특히 혼잡한 배경을 가진 복잡한 환경에서 기존 기반 모델 대비 QuadFormer이 더 일관되고 분할되지 않은 전력선 예측을 생성하는 것으로 나타났다.