[논문 리뷰] Reciprocal Translation between SAR and Optical Remote Sensing Images with Cascaded-Residual Adversarial Networks

Shilei Fu, Feng Xu외 1명|arXiv (Cornell University)|2019. 01. 24.

Advanced Image Processing Techniques참고 문헌 41인용 수 7

한 줄 요약

이 논문은 쌍체 데이터와 비쌍체 데이터를 활용하여 해석 가능성 향상을 위해 SAR와 광학 원격 감시 영상 간 상호 번역을 위한 계단식 잔차 생성 적대 신경망을 제안한다. 하이브리드 L1-GAN 손실을 사용하여 최신 기술 수준의 성능를 달성하며, GF-3 및 UAVSAR를 포함한 다양한 SAR 및 광학 데이터셋에서 뛰어난 내성성을 보이며, 고품질 영상 번역을 나타내는 FID 점수를 제공한다.

ABSTRACT

Despite the advantages of all-weather and all-day high-resolution imaging, synthetic aperture radar (SAR) images are much less viewed and used by general people because human vision is not adapted to microwave scattering phenomenon. However, expert interpreters can be trained by comparing side-by-side SAR and optical images to learn the mapping rules from SAR to optical. This paper attempts to develop machine intelligence that are trainable with large-volume co-registered SAR and optical images to translate SAR image to optical version for assisted SAR image interpretation. Reciprocal SAR-Optical image translation is a challenging task because it is raw data translation between two physically very different sensing modalities. This paper proposes a novel reciprocal adversarial network scheme where cascaded residual connections and hybrid L1-GAN loss are employed. It is trained and tested on both spaceborne GF-3 and airborne UAVSAR images. Results are presented for datasets of different resolutions and polarizations and compared with other state-of-the-art methods. The FID is used to quantitatively evaluate the translation performance. The possibility of unsupervised learning with unpaired SAR and optical images is also explored. Results show that the proposed translation network works well under many scenarios and it could potentially be used for assisted SAR interpretation.

연구 동기 및 목표

• 마이크로파 영상의 인간 인지 갭을 해소하기 위해 SAR와 광학 원격 감시 영상 간 해석 가능한 번역을 가능하게 하는 기계 학습 모델을 개발하는 것.
• 영상 촬영 물리법과 신호 특성의 차이로 인해 물리적으로 다를 수 있는 원시적인 SAR 및 광학 데이터 간의 번역 문제를 해결하는 것.
• 쌍체 및 비쌍체 학습 시나리오를 모두 지원하여 일반화 능력과 실용적 적용 가능성을 향상시키는 것.
• 고도화된 딥 러닝 아키텍처를 통해 번역된 영상의 시각적 정밀도와 구조적 일致성을 향상시키는 것.
• SAR 입력에서 사실적으로 광학 영상과 유사한 시각을 생성하여 보조적인 SAR 영상 해석을 지원하는 것.

제안 방법

• SAR와 광학 영상 간 이중 방향 매핑을 학습하기 위해 계단식 잔차 적대 신경망 아키텍처를 설계한다.
• 장거리 스키프 연결을 통해 세밀한 디테일을 유지하면서 학습을 안정화시키기 위해 잔차 블록을 계단식으로 스택한다.
• 픽셀 수준의 재구성 정확도를 위해 L1 손실과 시각적 현실감을 위해 GAN 손실을 조합한 하이브리드 손실 함수를 사용한다.
• 쌍체 및 비쌍체 SAR-광학 영상 데이터셋을 사용하여 종단 간 엔드 투 엔드로 학습함으로써 비지도 적응을 가능하게 한다.
• 적대적 학습을 양방향으로 적용하여 상호 일致성을 확보한다: SAR → 광학 및 광학 → SAR.
• 다양한 해상도와 편광도를 가진 위성 기반 GF-3 및 항공기 기반 UAVSAR 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 물리적 및 통계적 차이가 존재하는 SAR와 광학 원격 감시 영상 간의 상호 번역을 효과적으로 학습할 수 있는 깊이 생성 모델이 존재하는가?
• RQ2 직접적인 영상 대응 관계가 없는 비쌍체 학습 설정에서 제안된 계단식 잔차 GAN의 성능은 어떠한가?
• RQ3 기존 GAN에 비해 하이브리드 L1-GAN 손실이 번역된 영상의 시각적 품질과 구조적 정밀도를 얼마나 향상시키는가?
• RQ4 GF-3 및 UAVSAR와 같은 다양한 SAR 영상 해상도, 편광도, 센서 유형에서 모델의 내성은 어떠한가?
• RQ5 SAR 입력에서 인간 해석을 지원할 수 있는 사실적으로 광학 영상과 유사한 영상을 생성할 수 있는가?

주요 결과

• 제안된 방법은 Fréchet Inception Distance (FID) 측정 기준으로 SAR-광학 및 광학-SAR 번역 작업에서 최신 기술 수준의 성능를 달성한다.
• 공간 기반 GF-3 및 항공기 기반 UAVSAR를 포함한 다양한 데이터셋에서 강력한 일반화 능력을 보이며, 다양한 해상도와 편광도에서 일관된 성능을 유지한다.
• 하이브리드 L1-GAN 손실은 픽셀 수준의 정확도와 시각적 현실감을 균형 있게 조절함으로써 영상 품질을 크게 향상시킨다.
• 비쌍체 데이터를 사용한 비지도 학습은 경쟁 가능한 결과를 도출함으로써, 쌍체 예제 없이도 의미 있는 다중 모odal 표현을 학습할 수 있음을 시사한다.
• 시각적 점검 결과 번역된 영상가 구조적 및 의미적 일치성을 유지하고 있음을 확인하여, 보조적인 SAR 영상 해석에 활용 가능함을 확인한다.