[논문 리뷰] Multisource and Multitemporal Data Fusion in Remote Sensing

Pedram Ghamisi, Behnood Rasti외 10명|arXiv (Cornell University)|2018. 12. 19.

Remote-Sensing Image Classification참고 문헌 133인용 수 13

한 줄 요약

이 논문은 다중원천 및 다중시기 원격 감지 데이터 융합에 대한 종합적인 리뷰를 제시하며, 풍경선화, LiDAR/고스펙트럼 융합, 포인트 클러스터 통합, 다중시기 분석, 사회적 미디어 데이터 융합 등 다양한 분야에서의 진전을 통합한다. 이는 고해상도 원격 감지 데이터와 사회적 미디어 사진을 융합함으로써 분류 정확도를 최대 7.68% 향상시킨다 (예: FCN 정확도는 71.23%에서 78.91%로 상승)는 것을 입증한다. 이는 데이터 레이블링을 향상시키기 때문이다.

ABSTRACT

The sharp and recent increase in the availability of data captured by different sensors combined with their considerably heterogeneous natures poses a serious challenge for the effective and efficient processing of remotely sensed data. Such an increase in remote sensing and ancillary datasets, however, opens up the possibility of utilizing multimodal datasets in a joint manner to further improve the performance of the processing approaches with respect to the application at hand. Multisource data fusion has, therefore, received enormous attention from researchers worldwide for a wide variety of applications. Moreover, thanks to the revisit capability of several spaceborne sensors, the integration of the temporal information with the spatial and/or spectral/backscattering information of the remotely sensed data is possible and helps to move from a representation of 2D/3D data to 4D data structures, where the time variable adds new information as well as challenges for the information extraction algorithms. There are a huge number of research works dedicated to multisource and multitemporal data fusion, but the methods for the fusion of different modalities have expanded in different paths according to each research community. This paper brings together the advances of multisource and multitemporal data fusion approaches with respect to different research communities and provides a thorough and discipline-specific starting point for researchers at different levels (i.e., students, researchers, and senior researchers) willing to conduct novel investigations on this challenging topic by supplying sufficient detail and references.

연구 동기 및 목표

• 다양한 연구 공동체에서의 다중원천 및 다중시기 원격 감지 데이터 융합 분야에서 최근의 진전을 통합하고 분석하기 위해.
• 광학, SAR, LiDAR, 고스펙트럼, 사회적 미디어 데이터 등 이질적인 데이터 원천을 효과적으로 융합하여 일관되고 실용적인 정보로 변환하는 데 도전하기 위해.
• 빅데이터, 딥 러닝, 공간-시간-스펙트럼 통합의 맥락에서 데이터 융합 분야의 주요 방법론적 격차와 향후 연구 방향을 규명하기 위해.
• 사회적 미디어 데이터가 원격 감지 영상 분류에 미치는 영향을 평가하기 위해, 사회적 미디어 사진을 고해상도 영상의 레이블링 정확도 향상에 보조적으로 활용한다.
• 다양한 수준의 연구자들이 원격 감지 응용 분야에서 융합 기법을 발전시키기 위해 필요로 하는 체계적이고 분야별 기반 자료를 제공하기 위해.

제안 방법

• 다양한 융합 모odal 및 연구 공동체별로 분류된 다중원천 및 다중시기 데이터 융합에 관한 181편의 동료 심사 논문을 체계적으로 검토하고 통합한다.
• 원격 감지 및 사회적 미디어 사진 융합을 위해 특징 기반, 결정 기반, 하이브리드 특징-결정 융합 전략으로 융합 기법을 분류한다.
• 사회적 미디어 사진(SMPs)이 있는가 없는가에 따라 훈련된 데이터셋을 사용해 FCN, CNN, RBF 커널을 가진 SVM 등의 딥 러닝 모델을 적용하여 레이블링 영향을 평가한다.
• 독일 프랑크푸르트의 지린-1 위성 데이터에서 이미지 분류 작업을 위해 사전 학습된 VGG-16 네트워크를 교정하여 교차 엔트로피 손실을 사용한다.
• 지통계적 분석, 저랭크 모델, 복합 커널, 다중해상도 분석을 활용하여 데이터 이질성과 해상도 향상 문제를 해결한다.
• 실제 데이터셋(예: CASI 휴스턴)을 사용해 성분 치환 및 부분공간 표현 기법을 활용한 풍경선화 및 해상도 향상 기법을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 센서(예: 광학, SAR, LiDidar, 고스펙트럼)에서 유래한 이질적인 원격 감지 데이터를 효과적으로 융합하여 정보 추출을 향상시키는 방법은 무엇인가?
• RQ2 고해상도 원격 감지 영상과 사회적 미디어 사진을 융합하여 분류 정확도를 향상시키기 위한 가장 효과적인 융합 전략은 무엇인가?
• RQ3 시간적 데이터를 공간 및 스펙트럼 정보와 융합함으로써 어떻게 4차원(공간-시간) 데이터 모델을 구성하여 동적 시나리오 분석을 가능하게 할 수 있는가?
• RQ4 빅데이터 및 딥 러닝의 맥락에서 다중원천 및 다중시기 데이터 융합 분야의 주요 과제와 향후 연구 방향은 무엇인가?
• RQ5 보조적인 레이블링 데이터로 사용될 때, 사회적 미디어 사진이 원격 감지 영상 분류 정확도를 얼마나 향상시키는가?

주요 결과

• 고해상도 원격 감지 데이터와 사회적 미디어 사진(SMPs)을 융합함으로써 분류 정확도가 크게 향상되며, FCN 정확도는 SMPs를 사용한 레이블링 시 71.23%에서 78.91%로 상승한다.
• SMP 레이블링 데이터로 훈련된 CNN 기반 모델은 총 정확도 74.85%를 기록했으며, SMPs를 사용하지 않은 모델의 65.72% 대비 9.13% 향상되었다.
• SVM 모델 역시 SMPs의 영향을 받아 총 정확도가 61.16%에서 62.40%로 상승하여 다양한 학습 철학에 걸쳐 일관된 향상이 확인되었다.
• 딥 네트워크에서 특징 기반 및 하이브리드 특징-결정 융합 전략은 원격 감지 및 사회적 미디어 데이터를 효과적으로 통합하여 강력한 시나리오 분류를 가능하게 한다.
• 다중시기 데이터를 공간 및 스펙트럼 정보와 융합함으로써 동적 4D 모델링이 가능해져 변화 탐지 및 토지 이용 모니터링 능력이 향상된다.
• 비록 방법론적으로 성숙해졌지만, 융합 파이프라인 표준화, 데이터 이질성 처리, 실시간 응용 분야에서의 빅데이터 워크로드에 대응한 기술 확장성 문제 등 여전히 과제가 남아 있다.