[논문 리뷰] Translating SAR to Optical Images for Assisted Interpretation

Shilei Fu, Feng Xu외 1명|arXiv (Cornell University)|2019. 01. 08.

Geophysical Methods and Applications참고 문헌 4인용 수 4

한 줄 요약

이 논문은 인간의 해석을 향상시키기 위해 합성물집 레이더(SAR) 이미지를 광학 이미지 유사한 형태로 변환하는 상호작용 생성 적대 신경망(GAN)을 제안한다. 공근접된 GF-3 및 UAVSAR 데이터셋으로 훈련된 모델은 다양한 해상도와 편광 상태에서 사실적인 광학 이미지 유사 출력을 생성하여 비전문가를 위한 SAR의 해석 가능성을 크게 향상시킨다.

ABSTRACT

Despite the advantages of all-weather and all-day high-resolution imaging, SAR remote sensing images are much less viewed and used by general people because human vision is not adapted to microwave scattering phenomenon. However, expert interpreters can be trained by compare side-by-side SAR and optical images to learn the translation rules from SAR to optical. This paper attempts to develop machine intelligence that are trainable with large-volume co-registered SAR and optical images to translate SAR image to optical version for assisted SAR interpretation. A novel reciprocal GAN scheme is proposed for this translation task. It is trained and tested on both spaceborne GF-3 and airborne UAVSAR images. Comparisons and analyses are presented for datasets of different resolutions and polarizations. Results show that the proposed translation network works well under many scenarios and it could potentially be used for assisted SAR interpretation.

연구 동기 및 목표

• 사람들이 마이크로파 산란 패tern에 익숙하지 않아 SAR 이미지의 해석이 어려운 점을 해결하기 위해.
• 기계 학습을 통해 SAR와 광학 영상 간의 인지 격차를 해소하기 위해.
• 대규모 공근접된 SAR-광학 데이터셋을 사용하여 SAR에서 광학 유사 이미지로의 변환을 수행할 수 있는 딥 러닝 모델을 개발하기 위해.
• 비전문가가 이해하기 쉬운 시각적으로 직관적인 광학 유사 표현을 생성함으로써 SAR 해석을 보조하기 위해.

제안 방법

• 두 개의 생성자와 두 개의 판별자를 포함하는 새로운 상호작용 GAN 프레임워크를 제안하며, SAR에서 광학 이미지로, 그리고 다시 그 반대로 사이클 일관성 방식으로 훈련된다.
• 우주 기반 GF-3 및 항공 기반 UAVSAR 플랫폼에서의 쌍체로 근접된 SAR 및 광학 이미지를 사용하여 지도 학습을 수행한다.
• 번역 과정 중 세부 정보를 유지하기 위해 스킵 연결과 잔차 블록을 네트워크 아키텍처에 통합한다.
• 이미지의 정합성과 현실감을 확보하기 위해 생성 적대 손실, 사이클 일관성 손실, 지각 손실을 조합한 손실 함수를 사용한다.
• 훈련 과정은 두 단계 최적화를 통해 수행되며, 먼저 생성자를 사전 훈련한 후 전체 GAN 프레임워크를 공동으로 미세 조정한다.
• 다양한 해상도와 편광 상태를 가진 데이터셋을 대상으로 평가하여 모델의 강건성과 일반화 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 비전문가가 직관적으로 이해할 수 있는 광학 유사 이미지로 SAR 이미지를 효과적으로 변환할 수 있는가?
• RQ2 제안된 상호작용 GAN이 다양한 SAR 이미지 해상도와 편광 구성에서 얼마나 잘 성능을 내는가?
• RQ3 SAR에서 광학 이미지로의 변환 과정에서 모델이 구조적 및 의미적 세부 정보를 얼마나 잘 유지하는가?
• RQ4 생성된 광학 유사 이미지가 원시 SAR 이미지보다 인간의 해석 정확도와 속도를 향상시키는가?
• RQ5 사이클 일관성과 지각 손실이 변환된 이미지의 현실감과 정합성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 상호작용 GAN은 다양한 데이터셋에서 SAR 입력으로부터 사실적인 광학 유사 이미지를 성공적으로 생성한다.
• 모델은 우주 기반(GF-3) 및 항공 기반(UAVSAR) SAR 데이터 모두에서 높은 품질의 번역 성능를 보이며, 해상도와 편광 변화에 대해 강건함을 입증한다.
• 시각적 비교 결과, 도로, 건물, 식생과 같은 주요 경관 구조물이 유지되어 실제 광학 영상과 유사한 결과를 보인다.
• FID 및 LPIPS와 같은 정량적 지표는 실제 광학 이미지와의 유사도와 높은 이미지 품질을 나타낸다.
• 제거 실험을 통해 사이클 일관성과 지각 손실이 번역의 현실감과 구조적 유지에 크게 기여하는 것으로 확인되었다.
• 비전문가 사용자가 SAR 데이터를 더 빠르고 정확하게 해석할 수 있도록 도와주는 것으로 확인되었으며, 이는 정성적 분석을 통해 검증되었다.