[논문 리뷰] Generative Adversarial Networks for Synthesizing InSAR Patches

Philipp Sibler, Yuanyuan Wang외 3명|arXiv (Cornell University)|2020. 08. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 4

한 줄 요약

이 논문은 조건부 GAN 아키텍처 내에서 표준 실수형 컨볼루션 신경망(CNN)을 사용하여 복소수형 InSAR 패치 합성 가능성을 보장하기 위해 새로운 니크베스트 매핑 기법을 제안한다. CNN의 신호 처리 행동을 모델링하고 위상 일관성에 최적화된 손실 함수를 설계함으로써, 낮은 위상 노이즈와 높은 지각적 품질을 달성하여 훈련 및 데이터 증강을 위한 합성 InSAR 데이터 생성이 가능해진다.

ABSTRACT

Generative Adversarial Networks (GANs) have been employed with certain success for image translation tasks between optical and real-valued SAR intensity imagery. Applications include aiding interpretability of SAR scenes with their optical counterparts by artificial patch generation and automatic SAR-optical scene matching. The synthesis of artificial complex-valued InSAR image stacks asks for, besides good perceptual quality, more stringent quality metrics like phase noise and phase coherence. This paper provides a signal processing model of generative CNN structures, describes effects influencing those quality metrics and presents a mapping scheme of complex-valued data to given CNN structures based on popular Deep Learning frameworks.

연구 동기 및 목표

• 높은 위상 일관성을 갖는 현실적인 복소수형 InSAR 영상 패치를 생성하기 위한 효과적인 방법의 부족을 해결한다.
• GAN 아키텍처 내에서 실수형 딥러닝 프레임워크를 활용해 복소수형 SAR 데이터를 처리하는 데 도전하는 문제를 극복한다.
• 이미지 합성 과정에서 위상 및 진폭 왜곡을 이해하고 제어하기 위해 CNN의 신호 처리 모델을 수립한다.
• 기존 실수형 CNN의 구현을 그대로 재사용할 수 있도록 복소수형 텐서에 적용 가능한 새로운 매핑 기법인 니크베스트 매핑을 제안한다. 이는 아키텍처 변경 없이도 가능하다.
• 실제 InSAR 영상 패치와 합성된 InSAR 영상 패치 간의 위상 일관성을 향상시키기 위해 손실 함수를 최적화한다. 이는 간섭 응용 분야에서의 정밀도 향상에 기여한다.

제안 방법

• 평탄한 지구, 일정한 반사율, 선형 위상 응답을 가정하는 단일 주파수 InSAR 이미징 모델을 단순화하여 목표 신호 특성 정의.
• 학습 가능한 커널, 바이어스 항목, 비선형 활성화 함수(예: ReLU)를 갖는 계층적 필터 베이스로 CNN을 모델링하여 네트워크 내부의 신호 변환 분석 가능.
• 복소수형 텐서를 실수형 텐서로 매핑하는 니크베스트 매핑 기법을 도입. 이는 실수부와 허수부 성분을 교차 배치하여 복소수의 구조를 유지하고, 표준 실수형 CNN과의 호환성을 확보한다.
• 조건부 GAN을 구현하여 생성자에 소스 이미지(예: 강도 또는 진폭)를 입력으로 받아 일관된 위상 패tern을 갖는 복소수형 InSAR 패치를 합성한다.
• 실제와 합성된 InSAR 영상 쌍 간의 위상 일관성을 극대화하고 위상 노이즈를 최소화하기 위해 전용 손실 함수를 설계 및 적용한다.
• 합성 단일 주파수 환경, 실제 Sentinel-1 InSAR 데이터, 시뮬레이션된 SAR 환경에서의 평가를 통해 다양한 조건에서의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 실수형 딥러닝 프레임워크는 어떻게 효과적으로 복소수형 InSAR 패치를 고정밀도로 생성할 수 있는가?
• RQ2 CNN 내에서 위상 노이즈와 위상 일관성에 가장 크게 영향을 주는 신호 처리 효과는 무엇인가?
• RQ3 새로운 매핑 기법을 통해 존재하는 실수형 CNN의 구현을 아키텍처 수정 없이 복소수형 데이터에 재사용할 수 있는가?
• RQ4 제안된 손실 함수는 실제와 합성된 InSAR 영상 패치 간의 위상 일관성 향상에 얼마나 효과적인가?
• RQ5 니크베스트 매핑 기법은 복소수형 CNN 기반 기존 방법 대비 지각적 품질과 위상 안정성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 니크베스트 매핑 기법은 기존 네트워크 아키텍처를 수정하지 않고도 표준 실수형 CNN을 복소수형 InSAR 패치 생성에 성공적으로 활용할 수 있음을 입증하였다.
• CNN의 신호 처리 모델 분석 결과, 필터 베이스 동작과 비선형 활성화 함수가 생성된 InSAR 데이터의 위상 왜곡과 노이즈에 중대한 영향을 미친다.
• 실험 결과, 제안된 방법은 제한된 실제 데이터로 학습된 경우에도 낮은 위상 노이즈와 높은 위상 일관성을 갖는 합성 InSAR 패치를 생성함을 입증하였다.
• 위상 일관성에 특화된 전용 손실 함수의 적용은 기존 GAN 대비 생성된 InSAR 스택의 정밀도 향상에 명확한 개선 효과를 보였다.
• 합성 단일 주파수 환경과 실제 Sentinel-1 InSAR 데이터 모두에서 뛰어난 성능을 보이며, 실제 원격 감시 작업에의 적용 가능성을 입증하였다.
• 기본선 또는 환경 유형과 같은 제어 가능한 파rameter를 갖는 다양한 현실적인 합성 패치를 생성함으로써, InSAR 분류기의 확장 가능한 데이터 증강을 가능하게 하였다.