[논문 리뷰] Exploiting Deep Features for Remote Sensing Image Retrieval: A Systematic Investigation

Xinyi Tong, Gui-Song Xia외 4명|arXiv (Cornell University)|2017. 07. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 154인용 수 35

한 줄 요약

이 논문은 고해상도 위성 영상(HRRS) 이미지 검색을 위한 딥 페처 추출을 체계적으로 조사하며, 네트워크 아키텍처, 페처 풀링, 스케일, 차원 축소와 같은 요소를 최적화한다. GoogLeNet을 미세조정하고 다중패치 풀링을 적용하며 PCA 압축을 통해, 32D 특징을 사용함으로써 최신 기술 수준(SOTA) 성능을 달성하여 UCM에서 ANMRR 0.285를 기록하였다. 이는 이전의 CNN 기반 접근법보다 훨씬 낮은 특징 차원을 사용하면서도 뛰어난 성능을 보였다.

ABSTRACT

Remote sensing (RS) image retrieval is of great significant for geological information mining. Over the past two decades, a large amount of research on this task has been carried out, which mainly focuses on the following three core issues: feature extraction, similarity metric and relevance feedback. Due to the complexity and multiformity of ground objects in high-resolution remote sensing (HRRS) images, there is still room for improvement in the current retrieval approaches. In this paper, we analyze the three core issues of RS image retrieval and provide a comprehensive review on existing methods. Furthermore, for the goal to advance the state-of-the-art in HRRS image retrieval, we focus on the feature extraction issue and delve how to use powerful deep representations to address this task. We conduct systematic investigation on evaluating correlative factors that may affect the performance of deep features. By optimizing each factor, we acquire remarkable retrieval results on publicly available HRRS datasets. Finally, we explain the experimental phenomenon in detail and draw conclusions according to our analysis. Our work can serve as a guiding role for the research of content-based RS image retrieval.

연구 동기 및 목표

• 크기, 방향, 조명 변화에 따라 수작업으로 설계된 특징의 한계를 해결하기 위해 고해상도 위성 영상(HRRS) 이미지 검색에서의 성능 향상을 도모한다.
• 네트워크 아키텍처, 페처 풀링, 스케일, 차원 축소와 같은 HRRS 이미지 검색에서의 딥 페처 성능에 영향을 미치는 핵심 요소들을 체계적으로 조사하고 최적화한다.
• 사전 훈련된 CNN에서 유도된 최적화된 딥 페처를 사용하여 공개 HRRS 데이터셋에서 최신 기술 수준의 검색 성능을 달성한다.
• 영향을 미치는 요소들을 종합적으로 분석하고 콘텐츠 기반 위성 영상 검색 분야의 향후 연구를 안내한다.

제안 방법

• 사전 훈련된 특징을 위성 영상 데이터에 적합시키기 위해 HRRS 데이터셋에서 GoogLeNet을 미세조정한다.
• 표현 능력을 향상시키기 위해 미세조정된 네트워크의 중간층(예: avg_pool, inception(5b))에서 딥 페처를 추출한다.
• 각 이미지에서 20개의 서브패치(224×224)를 자르고 최대, 평균, 또는 하이브리드 풀링을 통해 특징을 통합함으로써 다중패치 풀링을 적용한다.
• 고차원 특징(예: IFK에서 유도된 204800D)을 주성분 분석(PCA)을 통해 32D로 압축하여 효율적이고 압축된 표현을 확보한다.
• 압축된 특징에 대해 유클리드, 코사인, 맨하탄, χ² 거리 측도를 평가하여 최적의 유사도 측도를 도출한다.
• 다중스케일 입력과 다중패치 풀링 전략을 조합하여 특징의 강건성과 구별 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 CNN 아키텍처와 미세조정 전략은 HRRS 이미지 검색에서의 딥 페처 성능에 어떤 영향을 미치는가?
• RQ2 특징 통합 전략으로서의 최적 전략은 단일스케일 대비 다중스케일 또는 단일패치 대비 다중패치 풀링인가?
• RQ3 PCA를 통한 차원 축소는 검색 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 유클리드, 코사인, 맨하탄, χ² 거리 측도 중 어떤 것이 딥 페처와 함께 가장 뛰어난 검색 성능을 내는가?
• RQ5 다양한 특징 추출 전략은 공개 HRRS 벤치마크에서 기존 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 평균 풀링을 사용한 다중패치 풀링 전략이 RS19(76.80)와 UCM(64.56)에서 모두 가장 높은 MAP 성능을 기록하여 단일패치 및 다중스케일 방법을 압도했다.
• 미세조정된 GoogLeNet, 다중패치 풀링, 32D 차원으로의 PCA 압축을 조합한 방법이 UCM에서 ANMRR 0.285를 기록하며 최고의 종합 성능을 달성했다.
• 다중스케일 연결은 UCM에서 성능을 떨어뜨렸다(MAP가 38.49로 하락), 이는 객체 중심 데이터셋에서는 스케일 다양성이 구별 능력을 저하시킬 수 있음을 시사한다.
• 제안된 방법은 이전의 CNN 기반 방법들보다 뛰어난 정확도를 보였으며, 최근 논문 [75]보다 ANMRR에서 1.4% 향상된 성능을 기록했다.
• PCA 압축을 통해 특징 차원을 1000에서 32로 줄였지만 높은 성능을 유지하였으며, 이는 계산 비용을 크게 감소시켰다.
• PCA 압축 특징에는 비음수 제약 조건이 존재하기 때문에 χ² 거리 측도를 적용할 수 없었으며, 이는 저차원 환경에서의 사용을 제한하였다.