[論文レビュー] Exploiting Deep Features for Remote Sensing Image Retrieval: A Systematic Investigation

Xinyi Tong, Gui-Song Xia+4 more|arXiv (Cornell University)|Jul 23, 2017

Advanced Image and Video Retrieval Techniques参考文献 154被引用数 35

ひとこと要約

本稿は、高分解能リモートセンシング（HRRS）画像検索におけるディープ特徴抽出を体系的に行い、ネットワークアーキテクチャ、特徴プーリング、スケール、次元削減といった要因を最適化する。GoogLeNetを微調整し、PCA圧縮を伴うマルチパッチプーリングを適用することで、UCMでANMRR 0.285を達成し、特徴次元が著しく低減された状態で最先端の性能を達成した。

ABSTRACT

Remote sensing (RS) image retrieval is of great significant for geological information mining. Over the past two decades, a large amount of research on this task has been carried out, which mainly focuses on the following three core issues: feature extraction, similarity metric and relevance feedback. Due to the complexity and multiformity of ground objects in high-resolution remote sensing (HRRS) images, there is still room for improvement in the current retrieval approaches. In this paper, we analyze the three core issues of RS image retrieval and provide a comprehensive review on existing methods. Furthermore, for the goal to advance the state-of-the-art in HRRS image retrieval, we focus on the feature extraction issue and delve how to use powerful deep representations to address this task. We conduct systematic investigation on evaluating correlative factors that may affect the performance of deep features. By optimizing each factor, we acquire remarkable retrieval results on publicly available HRRS datasets. Finally, we explain the experimental phenomenon in detail and draw conclusions according to our analysis. Our work can serve as a guiding role for the research of content-based RS image retrieval.

研究の動機と目的

• スケール、方向、照度の変動に起因する、手作業特徴の限界を解消するため、高分解能リモートセンシング（HRRS）画像検索における特徴抽出の課題に取り組む。
• ネットワークアーキテクチャ、特徴プーリング、スケール、次元削減といった、HRRS画像検索におけるディープ特徴性能に影響を与える要因を体系的に調査・最適化する。
• 事前学習済みCNNから導出された最適化されたディープ特徴を用いて、公開HRRSデータセットで最先端の検索性能を達成する。
• 影響要因の包括的分析を提供し、コンテントベースのRS画像検索分野における今後の研究を支援する。

提案手法

• HRRSデータセットに合わせて事前学習済み特徴を適応させるために、GoogLeNetを微調整する。
• 微調整されたネットワークの途中層（例：avg_pool、inception(5b)）からディープ特徴を抽出し、より優れた表現を実現する。
• 各画像から20個のサブパッチ（224×224）を切り出し、マックスプーリング、平均プーリング、またはハイブリッドプーリングにより特徴を統合するマルチパッチプーリングを適用する。
• 主成分分析（PCA）を用いて、高次元特徴（例：IFKからの204800次元）を32次元に圧縮し、効率的でコンactな表現を実現する。
• 圧縮された特徴に対して、ユークリッド距離、コサイン類似度、マンハッタン距離、χ²距離といった複数の類似度測度を評価し、最適な距離測度を特定する。
• マルチスケール入力とマルチパッチプーリング戦略を組み合わせることで、特徴のロバスト性と識別能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 異なるCNNアーキテクチャと微調整戦略は、HRRS画像検索におけるディープ特徴性能にどのように影響を与えるか？
• RQ2 特徴集約の最適戦略は何か？—シングルスケール対マルチスケール、またはシングルパッチ対マルチパッチプーリングの比較。
• RQ3 PCAによる次元削減は、検索精度と計算効率にどのように影響を与えるか？
• RQ4 ユークリッド距離、コサイン類似度、マンハッタン距離、χ²距離のうち、どの類似度測度がディープ特徴で最も優れた検索性能を示すか？
• RQ5 異なる特徴抽出戦略は、公開HRRSベンチマークで既存の最先端手法と比較してどのように異なるか？

主な発見

• 平均プーリングを用いたマルチパッチプーリングが、RS19（76.80）およびUCM（64.56）の両方で最高のMAPを達成し、シングルパッチおよびマルチスケール手法を上回った。
• 微調整されたGoogLeNet、マルチパッチプーリング、およびPCA圧縮による32次元化を組み合わせた手法が、UCMでANMRR 0.285を達成し、全体として最良の性能を示した。
• マルチスケールの特徴連結はUCMで性能を低下させた（MAPが38.49に低下）ことから、オブジェクト指向のデータセットではスケールの多様性が識別力の低下を引き起こす可能性があることが示された。
• 提案手法は、従来のCNNベース手法と比較して優れた精度を達成し、最近の手法[75]と比較してANMRRで1.4%の向上を達成した。
• PCA圧縮により特徴次元を1000から32に削減しながらも高い性能を維持し、計算コストを顕著に低減した。
• PCA圧縮特徴に対しては非負制約のためχ²距離測度が適用できず、低次元設定では使用が制限された。