[논문 리뷰] Randomized Histogram Matching: A Simple Augmentation for Unsupervised Domain Adaptation in Overhead Imagery

Can Yaris, Kassaw, Kaleb외 3명|arXiv (Cornell University)|2021. 04. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 6

한 줄 요약

이 논문은 위성 영상에서 비지도 도메인 적응을 위한 간단하고 실시간인 데이터 증강 기법인 랜덤라이즈드 히스토GRAM 매칭(RHM)을 제안한다. 학습 중에 랜덤라이즈드 히스토GRAM 매칭을 적용함으로써, 센서, 조명, 대기 조건 변화로 인한 스펙트럼 도메인 이탈에 대해 강건한 딥 네트워크를 구축할 수 있으며, CycleGAN과 같은 최신 기법과 경쟁 가능한 성능을 달성하면서도 훨씬 더 빠르고 간단하게 구현할 수 있다.

ABSTRACT

Modern deep neural networks (DNNs) are highly accurate on many recognition tasks for overhead (e.g., satellite) imagery. However, visual domain shifts (e.g., statistical changes due to geography, sensor, or atmospheric conditions) remain a challenge, causing the accuracy of DNNs to degrade substantially and unpredictably when testing on new sets of imagery. In this work, we model domain shifts caused by variations in imaging hardware, lighting, and other conditions as non-linear pixel-wise transformations, and we perform a systematic study indicating that modern DNNs can become largely robust to these types of transformations, if provided with appropriate training data augmentation. In general, however, we do not know the transformation between two sets of imagery. To overcome this, we propose a fast real-time unsupervised training augmentation technique, termed randomized histogram matching (RHM). We conduct experiments with two large benchmark datasets for building segmentation and find that despite its simplicity, RHM consistently yields similar or superior performance compared to state-of-the-art unsupervised domain adaptation approaches, while being significantly simpler and more computationally efficient. RHM also offers substantially better performance than other comparably simple approaches that are widely used for overhead imagery.

연구 동기 및 목표

• 새로운 항공 영상에 적용될 때 발생하는 도메인 이탈로 인한 딥 러닝 모델의 성능 저하 문제를 해결하기 위해.
• 센서의 차이, 조명 조건, 대기 상태로 인해 발생하는 스펙트럼 도메인 이탈이 표적 데이터 증강을 통해 완화될 수 있는지 조사하기 위해.
• 사전에 도메인 이탈 변환에 대한 지식이 없이도, 단순하고 실시간이며 계산적으로 효율적인 증강 방법을 개발하기 위해.
• RHM이 널리 사용되는 단순 증강 기법보다 우수하며, 건물 세그멘테이션 작업에서 최신 기술 수준의 도메인 적응 기법과 동등하거나 이를 초월하는 성능을 보임을 입증하기 위해.

제안 방법

• RHM은 소스 도메인과 타겟 도메인 이미지 간의 비선형이고 픽셀 단위의 변환으로 도메인 이탈을 모델링한다.
• 이 방법은 현재 배치에서 무작위로 선택된 타겟 이미지의 히스토GRAM을 사용하여 소스 이미지의 픽셀 강도를 재스케일링함으로써 소스 이미지와 타겟 이미지 간의 히스토GRAM 매칭을 수행한다.
• 랜덤라이제이션은 현재 학습 배치에서 무작위로 타겟 이미지를 선택하여 도입되며, 이로써 학습 중에 다양한 다양성과 확률적인 도메인 이탈 시뮬레이션을 보장한다.
• 이 방법은 학습 중에 온라인으로 적용되며, 사전 계산된 히스토GRAM이나 별도의 모델 학습이 필요하지 않다.
• 엔트로피 기반 리샘플링을 사용하여 학습 샘플을 재가중함으로써, 더 불확실한 예측에 집중함으로써 강건성을 향상시킨다.
• 이 방법은 표준 딥 러닝 프레임워크와 호환되며, 표준 학습 설정을 초과하는 추가 하이퍼파라미터 튜닝이 필요하지 않다.

실험 결과

연구 질문

• RQ1 스펙트럼 도메인 이탈이 센서의 차이, 조명, 대기 조건으로 인해 발생하는 항공 영상에서, 도메인 적응 네트워크 없이도 단순한 데이터 증강만으로 효과적으로 완화될 수 있는가?
• RQ2 RHM은 감마, HSV, 애핀 등 다른 단순 증강 전략과 비교할 때 도메인 이탈에 대해 얼마나 강건한가?
• RQ3 RHM은 건물 세그멘테이션 작업에서 CycleGAN이나 ColorMapGAN와 같은 복잡한 최신 기술 수준의 도메인 적응 기법과 동등하거나 이를 초월하는 성능을 달성하는가?
• RQ4 RHM은 상당한 계산 오버헤드 없이 실시간 학습에 효율적으로 적용될 수 있는가?
• RQ5 엔트로피 기반 리샘플링은 다양한 타겟 도메인에서 RHM의 성능을 추가로 향상시키는가?

주요 결과

• RHM은 Inria 데이터셋에서 mIoU 0.615, DeepGlobe 데이터셋에서 mIoU 0.618를 기록하여, 모든 다른 단순 증강 기반 베이스라인을 능가한다.
• 다대다 설정에서 RHM은 도시 평균 mIoU 0.615를 기록하여, CycleGAN의 0.610을 초월하고, 테스트한 9개 도시 전역에서 모든 다른 베이스라인을 앞선다.
• ResNet-18 인코더를 사용할 경우 RHM은 학습 시간 오버헤드를 단 1.88%로 줄였으며, HSV 증강(4.08%)보다 훨씬 빠르고, 더 단순한 방법들과 유사한 수준이다.
• 엔트로피 기반 리샘플링을 사용함으로써 RHM의 성능은 9개 도시 중 8개에서 향상되었으며, 총합 및 도시별 mIoU 모두 일관된 향상을 보였다.
• RHM는 별도의 도메인 적응 네트워크를 학습하지 않아도 최신 기술 수준의 성능를 달성하였으며, CycleGAN와 같은 모델이 일반적으로 요구하는 수일 간의 학습 시간을 피할 수 있었다.
• RHM는 진정한 도메인 간 변환을 알지 못하더라도, 단순하고 데이터 기반의 증강을 통해 스펙트럼 도메인 이탈에 대한 강건성을 달성할 수 있음을 보여주었다.