[論文レビュー] Dense v.s. Sparse: A Comparative Study of Sampling Analysis in Scene Classification of High-Resolution Remote Sensing Imagery

Jingwen Hu, Gui-Song Xia+2 more|arXiv (Cornell University)|Feb 4, 2015

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 4

ひとこと要約

この論文は、標準的な袋-視覚的語彙モデルを用いて、高分解能リモートセンシング画像におけるシーン分類のための密サンプリングとスパースサンプリング戦略を比較している。結果として、密サンプリングは最高のパフォーマンスを達成するが、計算コストが非常に高い。一方、ランダムサンプリングは、マルチスケールキーポoinトやサリエンシーに基づくアプローチを含む高度なスパース手法と同等の性能を示す。

ABSTRACT

Scene classification is a key problem in the interpretation of high-resolution remote sensing imagery. Many state-of-the-art methods, e.g. bag-of-visual-words model and its variants, the topic models as well as deep learning-based approaches, share similar procedures: patch sampling, feature description/learning and classification. Patch sampling is the first and a key procedure which has a great influence on the results. In the literature, many different sampling strategies have been used, {e.g. dense sampling, random sampling, keypoint-based sampling and saliency-based sampling, etc. However, it is still not clear which sampling strategy is suitable for the scene classification of high-resolution remote sensing images. In this paper, we comparatively study the effects of different sampling strategies under the scenario of scene classification of high-resolution remote sensing images. We divide the existing sampling methods into two types: dense sampling and sparse sampling, the later of which includes random sampling, keypoint-based sampling and various saliency-based sampling proposed recently. In order to compare their performances, we rely on a standard bag-of-visual-words model to construct our testing scheme, owing to their simplicity, robustness and efficiency. The experimental results on two commonly used datasets show that dense sampling has the best performance among all the strategies but with high spatial and computational complexity, random sampling gives better or comparable results than other sparse sampling methods, like the sophisticated multi-scale key-point operators and the saliency-based methods which are intensively studied and commonly used recently.

研究の動機と目的

• 高分解能リモートセンシング画像におけるシーン分類精度に与える異なるパッチサンプリング戦略の影響を調査すること。
• シーン分類タスクにおいて、密サンプリングとスパースサンプリングのどちらがより効果的であるかを明確にすること。
• さまざまなサンプリング戦略におけるパフォーマンスと計算複雑性のトレードオフを評価すること。
• キーポイントベースおよびサリエンシーに基づくサンプリングなどの高度なスパース手法と比較して、ランダムサンプリングの相対的有効性に関する実証的証拠を提供すること。

提案手法

• 一貫性と公平性を確保するため、比較のベースラインとして標準的な袋-視覚的語彙モデルを分類フレームワークとして採用した。
• パッチサンプリングは4つのカテゴリに分類される：密サンプリング、ランダムサンプリング、キーポイントベースのサンプリング（例：SIFT）、サリエンシーに基づくサンプリング。
• 特徴量は、固定ディスクリプタ（例：SIFT または類似手法）を用いて抽出され、その後、k-meansクラスタリングを用いてコードブックを生成した。
• 分類は、視覚的語彙のヒストグラムを用いた標準的なSVMまたは同等の線形分類器で実行された。
• パイプライン全体は、2つの広く使われている高分解能リモートセンシング画像データセットで評価された。
• パフォーマンスは標準的な分類精度指標で測定され、各サンプリング戦略ごとの計算コストも分析された。

実験結果

リサーチクエスチョン

• RQ1 高分解能リモートセンシング画像におけるシーン分類精度に関して、密サンプリングはスパースサンプリング戦略に比べてどのように異なるか？
• RQ2 マルチスケールキーポイント検出やサリエンシーに基づくサンプリングといったより複雑なスパースサンプリング手法と比較して、ランダムサンプリングは同等の性能を達成できるか？
• RQ3 さまざまなサンプリング戦略における分類精度と計算複雑性のトレードオフはいかなるものか？
• RQ4 この文脈において、サリエンシーに基づくサンプリングなどの高度なスパース手法は、単純なランダムサンプリングよりも顕著に優れているのか？

主な発見

• 密サンプリングは、両方のベンチマークデータセットにおいて、テストされたすべてのサンプリング戦略の中で最高の分類精度を達成した。
• 優れたパフォーマンスを発揮する一方で、密サンプリングはスパース手法に比べて顕著に高い空間的・計算的複雑性を伴う。
• ランダムサンプリングは、マルチスケールキーポイント演算子やサリエンシーに基づくサンプリングといった高度なスパース手法と同等またはそれ以上の性能を示した。
• サリエンシーに基づくサンプリングとキーポイントベースの手法は、常にランダムサンプリングを上回るとは限らず、複雑性の増加に対して収益が減少する傾向があることが示唆された。
• 密サンプリングとスパース手法の間のパフォーマンスギャップは顕著であるが、密サンプリングの計算コストの高さが、大規模応用における実用性を制限している。
• ランダムサンプリングは、その単純さと競争力のあるパフォーマンスのおかげで、強力なベースラインとして浮上し、複雑なスパースサンプリングのヒューリスティクスの必要性を疑問視させている。