[논문 리뷰] ColorMapGAN: Unsupervised Domain Adaptation for Semantic Segmentation Using Color Mapping Generative Adversarial Networks

Onur Taşar, S L Happy외 2명|arXiv (Cornell University)|2019. 07. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 74인용 수 33

한 줄 요약

이 논문은 원격 감지에서 세분화 분석을 위한 새로운 비지도 도메인 적응 프레임워크인 ColorMapGAN을 제안한다. 이는 훈련 이미지의 스펙트럼 분포를 학습 가능한 색상 매핑을 통해 테스트 이미지로 전이하는 경량 생성 적대적 네트워크를 사용한다. 단일 행렬 곱셈과 덧셈을 통해 생성자는 의미적으로 일관되지만 스펙트럼적으로 적응된 가짜 훈련 이미지를 생성하며, 이는 사전 훈련된 분류기의 효과적이고 빠른 미세조정을 가능하게 하여 기존 GAN 기반 방법에 비해 훨씬 빠른 훈련 시간으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Due to the various reasons such as atmospheric effects and differences in acquisition, it is often the case that there exists a large difference between spectral bands of satellite images collected from different geographic locations. The large shift between spectral distributions of training and test data causes the current state of the art supervised learning approaches to output unsatisfactory maps. We present a novel semantic segmentation framework that is robust to such shift. The key component of the proposed framework is Color Mapping Generative Adversarial Networks (ColorMapGAN), which can generate fake training images that are semantically exactly the same as training images, but whose spectral distribution is similar to the distribution of the test images. We then use the fake images and the ground-truth for the training images to fine-tune the already trained classifier. Contrary to the existing Generative Adversarial Networks (GANs), the generator in ColorMapGAN does not have any convolutional or pooling layers. It learns to transform the colors of the training data to the colors of the test data by performing only one element-wise matrix multiplication and one matrix addition operations. Thanks to the architecturally simple but powerful design of ColorMapGAN, the proposed framework outperforms the existing approaches with a large margin in terms of both accuracy and computational complexity.

연구 동기 및 목표

• 최신의 CNN 기반 세분화 분석 모델의 성능을 저하시키는 훈련 및 테스트 위성 이미지 간의 큰 스펙트럼 분포 이질성 문제를 해결한다.
• 큰 스펙트럼 이질성 하에서 실패하는 전통적 데이터 증강 및 비학습 기반 색상 보정 방법의 한계를 극복한다.
• 원격 감지, 특히 세분화 분석을 위한 계산적으로 효율적이면서도 높은 효과를 보이는 비지도 도메인 적응 방법을 개발한다.
• 다른 지리적 위치에서 다른Atmospheric 및 방사선 조건을 가진 훈련 및 테스트 데이터가 존재할 경우에도 고품질의 세분화 분석 지ap을 가능하게 한다.

제안 방법

• 훈련 이미지의 색상이 테스트 이미지의 스펙트럼 분포와 일치하도록 하기 위해 단일 요소별 행렬 곱셈과 행렬 덧셈만을 수행하는 생성자로 구성된 ColorMapGAN이라는 생성 적대적 네트워크를 제안한다.
• 모든 합성곱 또는 풀링 레이어 없이, 의미적 일관성을 유지하면서도 스펙트럼 특성을 적응시키기 위해 유일하게 학습 가능한 색상 변환 행렬에 의존하는 생성자를 설계한다.
• 가짜 이미지가 판별자에 의해 실제 테스트 이미지와 구별되지 않도록 생성자를 적대적 손실을 통해 훈련하며, 원래 훈련 데이터에 대한 진짜 레이블 지도를 통해 의미적 충실도를 유지한다.
• 실제 훈련 이미지와 생성된 가짜 이미지를 모두 사용하여 사전 훈련된 세분화 분류기를 미세조정함으로써 목표 도메인으로의 일반화 성능을 향상시킨다.
• 실제 테스트 이미지와 ColorMapGAN이 생성한 가짜 이미지를 구별하는 판별자를 사용하여 현실적인 스펙트럼 외관을 강제한다.
• TensorFlow 기반으로 종단 간 엔지니어링을 구현하여 성능과 훈련 효율성을 최적화하였으며, 단일 GPU에서 7분 이내로 훈련을 완료하였다.

실험 결과

연구 질문

• RQ1 복잡한 GAN에 비해 더 경량이면서도 비합성곱 생성자가 세분화 분석에서 더 뛰어난 도메인 적응 성능을 달성할 수 있는가?
• RQ2 행렬 곱셈과 덧셈을 통한 학습 가능한 색상 매핑 연산이 의미적 구조를 유지하면서도 두 도메인 간 스펙트럼 분포를 효과적으로 정렬할 수 있는가?
• RQ3 제안된 방법이 비학습 기반 방법(예: 히스토그램 매칭, GRAY WORLD)과 딥 러닝 기반 이미지-이미지 번역 모델을 모두 초월하는 정확도와 훈련 효율성에서 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 프레임워크는 위성 이미지의 세분화 분석에서 도메인 이질성에 의한 성능 저하를 어느 정도 감소시킬 수 있는가?

주요 결과

• ColorMapGAN은 Bad Ischl, Villach, Béziers, Roanne 등 여러 도시 쌍에서 세분화 분석 작업에서 최신 기술 수준의 성능을 달성하였으며, CycleGAN, UNIT, MUNIT, DRIT 및 히스토그램 매칭보다 정확도와 강건성 면에서 뛰어나다.
• 훈련 시간은 1단계당 약 0.05초(8,000단계 약 6.5분)로, CycleGAN(0.11초/단계) 및 기타 GAN 기반 방법보다 훨씬 빠르게 감소하였다.
• 히스토그램 매칭은 청색 또는 어두운 violet 색조의 옥상과 같은 비현실적인 색상 아티팩트를 유발하는 반면, ColorMapGAN은 시각적 검토 및 히스토그램 분석을 통해 현실적인 색상 분포를 유지한다.
• 히스토그램 매칭에 비해 ColorMapGAN이 생성한 가짜 이미지는 특히 건물과 도로에 대해 실제 테스트 이미지와 유사한 클래스별 색상 히스토그램을 보이며, 더 나은 스펙트럼 정렬을 나타낸다.
• 이 프레임워크는 높은 의미적 충실도를 유지한다: Villach의 회색 또는 검은 색 옥상은 ColorMapGAN 출력에서도 그대로 유지되어 비현실적인 색상 생성을 방지한다.
• 이 방법은 강력한 일반화 능력을 보이며, 시간대나 대기적 영향으로 인한 큰 스펙트럼 차이가 있는 훈련 및 테스트 이미지 간에도 정확한 예측을 생성한다.