[논문 리뷰] Unsupervised Deep Features for Remote Sensing Image Matching via Discriminator Network

Mohbat Tharani, Numan Khurshid외 1명|arXiv (Cornell University)|2018. 10. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 원격 감지 영상 매칭(RSIM)을 위한 비지도 딥 특징 학습 프레임워크를 제안한다. 잔차 인코더-디코더 네트워크를 사용하여 압축되고 특징적인 특징을 추출하며, 전통적인 거리 측도를 대체로 비선형 결정 경계를 학습하는 딥 판별망 네트워크를 도입하여 유사한 쌍과 비유사한 쌍을 구분한다. 이로 인해 기준 데이터셋에서 최신 기술 수준의 mAP 81.2%를 달성하였고, 콘텐츠 기반 원격 감지 영상 검색(CBRSIR)에서 12% 향상된 성능을 보였다.

ABSTRACT

The advent of deep perceptual networks brought about a paradigm shift in machine vision and image perception. Image apprehension lately carried out by hand-crafted features in the latent space have been replaced by deep features acquired from supervised networks for improved understanding. However, such deep networks require strict supervision with a substantial amount of the labeled data for authentic training process. These methods perform poorly in domains lacking labeled data especially in case of remote sensing image retrieval. Resolving this, we propose an unsupervised encoder-decoder feature for remote sensing image matching (RSIM). Moreover, we replace the conventional distance metrics with a deep discriminator network to identify the similarity of the image pairs. To the best of our knowledge, discriminator network has never been used before for solving RSIM problem. Results have been validated with two publicly available benchmark remote sensing image datasets. The technique has also been investigated for content-based remote sensing image retrieval (CBRSIR); one of the widely used applications of RSIM. Results demonstrate that our technique supersedes the state-of-the-art methods used for unsupervised image matching with mean average precision (mAP) of 81%, and image retrieval with an overall improvement in mAP score of about 12%.

연구 동기 및 목표

• 딥 러닝 응용 분야에서 원격 감지 데이터의 레이블 부족 문제를 해결한다.
• 대규모 레이블 데이터가 필요한 기존의 지도 학습 기반 컨볼루션 신경망(CNN)의 한계를 극복한다.
• 기존의 거리 측도(예: 유클리드, 코사인)를 대체로 유사도를 학습하는 기계적 메커니즘을 도입하여 영상 매칭 성능을 향상시킨다.
• 다양한 원격 감지 영상 도메인에 적합한 강력한 비지도 특징 추출 방법을 개발한다.
• 반복적 인과 피드백이 필요 없이 콘텐츠 기반 원격 감지 영상 검색(CBRSIR) 성능을 향상시킨다.

제안 방법

• 원격 감지 영상에서 비지도 딥 특징을 학습하기 위해 잔차 인코더-디코더 아키텍처를 활용한다.
• 오토인코더의 블로킹 레이어에서 특징을 추출하여 압축된 시각적 서술자로 사용한다.
• 이미지 특징 쌍이 유사한지 또는 비유사한지 분류하기 위해 딥 잔차 판별망 네트워크를 훈련시킨다.
• 기존의 거리 측도 대신 판별망의 출력을 학습된 유사도 점수로 사용한다.
• 대조 손실을 사용하여 판별망을 엔드 투 엔드로 훈련시켜 양성 및 음성 쌍 간의 비선형 결정 경계를 학습한다.
• 두 개의 공개 원격 감지 데이터셋을 사용하여 RSIM 및 CBRSIR 작업에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 오토인코더 아키텍처를 통해 추출한 비지도 딥 특징이 영상 매칭 작업에 원격 감지 영상의 효과적인 표현을 제공할 수 있는가?
• RQ2 비지도 설정에서 전통적인 거리 측도(예: 유클리드, 코사인)보다 딥 판별망 네트워크가 유사한 쌍과 비유사한 쌍을 더 잘 구분할 수 있는가?
• RQ3 제안된 프레임워크는 레이블 데이터나 인과 피드백 없이도 콘텐츠 기반 원격 감지 영상 검색에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 기하학적 변형(예: 회전, 이동)에 대해 이 방법은 얼마나 강건한가?
• RQ5 판별망 네트워크는 다양한 원격 감지 영상 클래스에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 LandUse 데이터셋에서 평균 평균 정확도(mAP) 81.2%를 달성하여 최신 기술 수준의 비지도 방법을 초월한다.
• 콘텐츠 기반 원격 감지 영상 검색에서 기존 접근 방식 대비 약 12% 향상된 mAP 성능을 보였다.
• LandUse 데이터셋에서 상위 10개 검색 정밀도는 99.2%이며, SatScene 데이터셋에서는 99.8%에 도달하여 검색된 영상의 높은 관련성을 보였다.
• 회전하거나 이동된 객체(예: 교차로, 저장 탱크)와 같은 도전적인 클래스에서도 강력한 성능 유지를 보이며 강건성을 입증했다.
• 혼동 행렬을 분석한 결과, 항공기와 저장 탱크 클래스, 테니스 코트와 고속도로 클래스가 시각적 유사성으로 인해 가장 자주 혼동되는 것으로 나타났다.
• 반복적 인과 피드백이 필요 없어지면서 원격 감지 응용 분야에서 레이블링 부담이 크게 감소했다.