[논문 리뷰] FDA: Fourier Domain Adaptation for Semantic Segmentation

Yanchao Yang, Stefano Soatto|arXiv (Cornell University)|2020. 04. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 61

한 줄 요약

FDA는 소스와 대상 이미지 간 저주파 푸리에 진폭을 바꿔 학습 없이 도메인 정렬(zero-training domain alignment)을 가능하게 하고 비지도 도메인 적응을 준지도 학습으로 바꿔 GTA5/SYNTHIA에서 CityScapes 벤치마크에 대해 최첨단 결과를 달성한다.

ABSTRACT

We describe a simple method for unsupervised domain adaptation, whereby the discrepancy between the source and target distributions is reduced by swapping the low-frequency spectrum of one with the other. We illustrate the method in semantic segmentation, where densely annotated images are aplenty in one domain (synthetic data), but difficult to obtain in another (real images). Current state-of-the-art methods are complex, some requiring adversarial optimization to render the backbone of a neural network invariant to the discrete domain selection variable. Our method does not require any training to perform the domain alignment, just a simple Fourier Transform and its inverse. Despite its simplicity, it achieves state-of-the-art performance in the current benchmarks, when integrated into a relatively standard semantic segmentation model. Our results indicate that even simple procedures can discount nuisance variability in the data that more sophisticated methods struggle to learn away.

연구 동기 및 목표

• 시맨틱 분할에서 도메인 간 차이를 줄이기 위한 간단하고 학습이 가벼운 접근법을 동기 부여한다.
• 적대적 학습 없이 소스와 대상 분포를 정렬하기 위해 저수준 푸리에 도메인 통계를 활용한다.
• FDA가 표준 벤치마크에서 복잡한 도메인 적응 방법을 능가할 수 있음을 시연한다.
• FDA를 준지도 학습 프레임워크에 통합하여 분할 품질을 추가로 향상시킨다.

제안 방법

• 이미지의 FFT를 계산하고 저주파 진폭 구성요소를 베타 중심 마스크를 사용해 교환한다.
• 원래의 위상은 소스 이미지로부터 유지한 채 역 FFT를 통해 적응된 이미지를 재구성한다.
• 적응된 소스 이미지에서 교차 엔트로피 손실로 분할 네트워크를 학습한다.
• 대상 예측에 대해 엔트로피 기반 가중치를 사용한 규제를 적용하여 자신감 있고 잘 구분된 출력으로 유도한다.
• 다중 대역 전송(Multi-band Transfer, MBT)을 도입하여 서로 다른 베타 값으로 학습된 여러 모델의 예측을 평균화하고 이를 자기지도학습의 의사레이블로 사용한다.
• 선택적: 엔트로피 최소화(FDA-ENT) 및 MBT를 도입해 성능을 높인다.

실험 결과

연구 질문

• RQ1 소스와 대상 이미지 간의 간단한 저주파 스펙트럼 정렬이 적대적 학습 없이 시맨틱 분할의 도메인 시프트를 줄일 수 있는가?
• RQ2 제로샷 정렬 방법으로서 FDA가 표준 합성-실제 벤치마크에서 더 복잡한 UDA 방법보다 우수한가?
• RQ3 FDA를 엔트로피 기반 규제 및 MBT와 결합하면 기본 FDA 대비 준지도 향상을 얻을 수 있는가?
• RQ4 스펙트럴 이웃 크기 매개변수 beta에 대한 FDA의 민감도는 어느 정도이며 다중 스케일/MBT 전략이 이 민감도를 완화할 수 있는가?

주요 결과

• 단일 스케일 베타를 가진 FDA는 GTA5→CityScapes에서 여러 적대적 도메인 방법을 능가하는 강력한 성능을 달성하고 백본에 따라 견고하게 유지된다.
• 엔트로피 규제 FDA(FDA-ENT)는 더 복잡한 정렬 접근법과 유사한 경쟁력 있는 결과를 보여준다.
• 다양한 베타 값으로 학습된 모델의 예측을 평균화한 MBT는 단일 베타 모델 대비 일관된 개선점을 제공한다.
• MBT에서 얻은 의사레이블을 사용한 자기지도 라운드는 규제를 통해 확인 편향을 방지하면서 성능을 추가로 향상시킨다.
• 벤치마크와 백본 전반에 걸쳐 FDA 기반 방법은 영상 변환이나 적대적 학습에 의존하는 최첨단 방법들과 비교해 최상위 또는 경쟁력 있는 mIoU를 달성한다.