[논문 리뷰] Using Simulated Data to Generate Images of Climate Change

Gautier Cosne, Adrien Juraver외 5명|arXiv (Cornell University)|2020. 01. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 5

한 줄 요약

이 논문은 3차원 시뮬레이션 환경과 실제 스트리트 레벨 이미지를 활용하여 수정된 MUNIT GAN 아키텍처를 통해 현실적이고 개인화된 환경에 대한 홍수 영향 이미지를 생성하는 도메인 적응 프레임워크를 제안한다. 정밀한 의미적 및 기하학적 레이블이 부여된 합성 데이터를 활용함으로써, 단순히 실제 데이터로만 훈련하는 것보다 더 현실적이고 공간적으로 정확한 홍수 시뮬레이션을 생성할 수 있으며, 이는 시각적 선명도와 구조적 일관성을 크게 향상시킨다.

ABSTRACT

Generative adversarial networks (GANs) used in domain adaptation tasks have the ability to generate images that are both realistic and personalized, transforming an input image while maintaining its identifiable characteristics. However, they often require a large quantity of training data to produce high-quality images in a robust way, which limits their usability in cases when access to data is limited. In our paper, we explore the potential of using images from a simulated 3D environment to improve a domain adaptation task carried out by the MUNIT architecture, aiming to use the resulting images to raise awareness of the potential future impacts of climate change.

연구 동기 및 목표

• 기후 변화 시각화에서 현실적인 이미지 간 번역 모델을 훈련시키기 위한 실제 쌍체 데이터(홍수 발생 및 비홍수 상태)의 부족 문제를 해결하기 위해.
• 제한된 실제 데이터와 3D 시뮬레이터에서 생성된 고품질 합성 데이터를 조합하여 생성된 홍수 영향 이미지의 현실성과 공간 정확도를 향상시키기 위해.
• 시뮬레이션된 데이터로부터의 의미적 세그멘테이션 및 깊이 맵을 활용하여 이미지 번역을 안내하면서도 콘텐츠 구조를 유지하는 도메인 적응 방법을 개발하기 위해.
• 어느 스트리트 레벨 위치든 가능한 홍수 시나리오를 생성함으로써 개인화된 기후 변화 시각화 도구를 가능하게 하기 위해.

제안 방법

• 실제 깊이 맵, 의미적 세그멘테이션 레이블(10개 클래스), 이진 홍수 마스크를 포함한 1,000개의 쌍체 이미지(홍수 발생 및 비홍수 상태)를 생성하기 위해 Unity 3D 기반의 시뮬레이션 환경을 구축하였다.
• 콘텐츠와 스타일을 분리하기 위해 MUNIT 아키텍처를 수정하였으며, 수리형 손실을 이진 마스크를 사용하여 홍수로 덮인 영역을 회복하지 않도록 비홍수 영역에 국한시켰다.
• 생성된 이미지가 입력 이미지와 동일한 의미적 구조를 유지하도록 보장하기 위해 의미적 일관성 손실을 도입하였다. 이는 국소화 및 현실성 향상에 기여한다.
• 이미지 생성기의 인코더와 공유하는 방식으로 수정된 DeepLab 네트워크를 사용해 시뮬레이션된 데이터에서 세그멘테이션 헤드를 훈련시켰다. 이는 잠재 공간의 분리도 향상시킨다.
• 실제 및 시뮬레이션 도메인 간의 특징을 정렬하기 위해 세그멘테이션 헤드의 출력 공간에 적대적 분류기를 도입함으로써 도메인 적응을 강화하였다.
• 완전한 지도 학습을 통해 실제 이미지와 합성 데이터의 조합으로 모델을 훈련시켜 기하학적 정보를 고려한 고해상도 홍수 생성을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 정밀한 레이블이 부여된 합성 3차원 데이터는 실제 데이터만으로 훈련하는 것과 비교해, GAN으로 생성된 홍수 영향 이미지의 현실성과 정확도를 향상시키는가?
• RQ2 도메인 적응 기법은 실제 이미지 도메인과 시뮬레이션 이미지 도메인 간의 특징을 효과적으로 정렬하여 이미지 번역 품질을 향상시키는가?
• RQ3 수정된 MUNIT 아키텍처는 현실적으로 홍수를 시뮬레이션하면서 콘텐츠 구조를 얼마나 잘 유지하는가?
• RQ4 시뮬레이터에서 생성된 깊이 맵과 의미적 세그멘테이션 레이블의 통합은 생성된 홍수 이미지의 공간 일관성과 시각적 선명도를 향상시키는가?
• RQ5 합성 데이터에서 훈련된 세그멘테이션 헤드는 이미지 간 번역에서 잠재 공간의 강건성과 구조를 어떻게 향상시키는가?

주요 결과

• 도메인 적응을 사용해 실제 및 합성 데이터로 훈련된 모델(Figure 2e)은 실제 데이터로만 훈련된 모델(Figure 2c)에 비해 훨씬 더 현실적인 수면 질감과 더 나은 공간 정렬을 보였다.
• 도메인 적응 및 의미적 일관성 손실을 추가함으로써, 도메인 적응 없이 훈련된 모델에 비해 시각적 잡음(예: 흐릿한 질감, 잘못된 수면 배치 등)이 감소하였다(Figure 2d).
• 생성된 이미지의 수면은 실제 홍수수면처럼 반사성과 투명도가 향상되어 콘crete처럼 보이는 표면과는 다소 다름을 관찰할 수 있었다.
• 시뮬레이터에서 제공하는 진짜 깊이 맵과 의미적 레이블을 활용함으로써, 특히 복잡한 도시 및 농촌 환경에서 더 정확한 홍수 예측이 가능해졌다.
• 합성 데이터에서 훈련된 세그멘테이션 헤드가 특징 분리도를 향상시켜 더 일관되고 의미적으로 일관된 이미지 번역 결과를 도출하였다.
• 모델은 홍수 시나리오에서도 건물, 나무, 도로 등의 구조적 세부 정보를 잘 유지하여 스타일 전이 중에도 콘텐츠 보존 능력이 뛰어나다는 것을 입증하였다.