[논문 리뷰] SAR Image Colorization: Converting Single-Polarization to Fully Polarimetric Using Deep Neural Networks

Qian Song, Feng Xu외 1명|arXiv (Cornell University)|2017. 07. 22.

Synthetic Aperture Radar (SAR) Applications and Techniques참고 문헌 1인용 수 3

한 줄 요약

이 논문은 두 단계의 네트워크를 사용하여 단일 수직 편광 SAR 이미지를 완전 편광 SAR 이미지로 변환하는 딥러닝 프레임워크를 제안한다: 먼저 특징 추출기가 다중 척도 공간 특징을 캡처하고, 그 다음 특징 번역기가 이를 공분산 행렬 재구성에 적합한 편광 특징으로 매핑한다. 이 방법은 높은 정밀도로 재구성 가능하게 하여 분해 및 분류와 같은 PolSAR 분석 기법을 직접 적용할 수 있도록 한다.

ABSTRACT

A deep neural networks based method is proposed to convert single polarization grayscale SAR image to fully polarimetric. It consists of two components: a feature extractor network to extract hierarchical multi-scale spatial features of grayscale SAR image, followed by a feature translator network to map spatial feature to polarimetric feature with which the polarimetric covariance matrix of each pixel can be reconstructed. Both qualitative and quantitative experiments with real fully polarimetric data are conducted to show the efficacy of the proposed method. The reconstructed full-pol SAR image agrees well with the true full-pol image. Existing PolSAR applications such as model-based decomposition and unsupervised classification can be applied directly to the reconstructed full-pol SAR images. This framework can be easily extended to reconstruction of full-pol data from compact-pol data. The experiment results also show that the proposed method could be potentially used for interference removal on the cross-polarization channel.

연구 동기 및 목표

• 완전 편광 SAR (PolSAR) 데이터의 부족을 해결하기 위해 단일 편광 SAR 이미지에서 이를 합성하는 것.
• 단일 강도만을 갖는 SAR 이미지에서 완전 편광 공분산 행렬을 예측할 수 있도록 학습하는 딥 네ural 네트워크 프레임워크를 개발하는 것.
• 재구성된 데이터에서 모델 기반 분해 및 비지도 분류와 같은 후행 PolSAR 응용을 가능하게 하는 것.
• 학습된 매핑을 통해 교차 편광 채널의 간섭 제거 잠재력을 탐색하는 것.
• 해당 방법을 압축 편광 SAR 데이터에서의 재구성으로 확장하여 적용 범위를 넓히는 것.

제안 방법

• 두 단계의 딥 네ural 네트워크를 사용한다: 먼저, 입력 단일 편광 SAR 이미지를 처리하여 계층적 다중 척도 공간 특징을 추출하는 특징 추출기 네트워크를 설계한다.
• 특징 추출기는 회귀 컨볼루션 레이어를 사용하여 회색조 SAR 강도 데이터로부터 공간 표현을 학습한다.
• 이후 특징 번역기 네트워크는 추출된 공간 특징을 각 픽셀의 완전 공분산 행렬에 해당하는 편광 특징으로 매핑한다.
• 예측된 공분산 행렬과 진짜 공분산 행렬 간의 재구성 오차를 최소화하도록 네트워크를 엔드 투 엔드로 훈련한다.
• 예측된 공분산 행렬을 사용하여 완전 편광 SAR 이미지를 재구성하며, 이는 실질적으로 단일 편광 입력을 '색상화'하는 것이다.
• 압축 편광 SAR 신호 모델에 맞게 입력 및 출력 레이어를 수정함으로써 이 프레임워크는 압축 편광 SAR 데이터에 대해서도 적용 가능하도록 유연하게 설계된다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크는 단일 편광 SAR 강도 이미지에서 완전 편광 공분산 행렬을 정확하게 재구성할 수 있는가?
• RQ2 재구성된 PolSAR 데이터가 실제 완전 편광 SAR 데이터의 통계적 및 구조적 특성을 어느 정도 유지하는가?
• RQ3 모델 기반 분해 및 비지도 분류와 같은 표준 PolSAR 분석 기법이 재구성된 데이터에 효과적으로 적용될 수 있는가?
• RQ4 이 방법은 SAR 데이터에서 교차 편광 채널 간섭을 완화하는 데 잠재력을 보이는가?
• RQ5 이 프레임워크는 압축 편광 SAR 입력에서 완전 편광 데이터를 재구성하는 데 일반화될 수 있는가?

주요 결과

• 제안된 방법은 실질적인 PolSAR 데이터와의 정성적 및 정량적 비교를 통해 단일 편광 입력에서 완전 편광 SAR 이미지를 높은 정밀도로 재구성하는 데 성공하였다.
• 재구성된 공분산 행렬은 진짜 값과 매우 유사하여 모델 기반 분해와 같은 표준 PolSAR 분석 도구의 정확한 적용을 가능하게 하였다.
• 재구성된 데이터에 비지도 분류를 적용한 결과, 실제 완전 편광 SAR 데이터에서의 성능과 유사한 결과를 달성하였다.
• 이 방법은 다양한 지형 유형에서 편광 다양성과 산란 특성을 잘 유지하는 것으로 나타났다.
• 노이즈 또는 손상된 입력에서 깨끗한 편광 표현을 학습함으로써 교차 편광 채널 간섭 억제 잠재력을 보였다.
• 이 방법은 압축 편광 SAR 데이터에 대해서도 확장 가능하여, 편광 획득이 제한된 환경에서도 더 넓은 적용 가능성을 보였다.