[論文レビュー] Distributed mining of large scale remote sensing image archives on public computing infrastructures

Luigi Mascolo, Marco Quartulli+3 more|arXiv (Cornell University)|Jan 17, 2015

Data Management and Algorithms参考文献 13被引用数 4

ひとこと要約

本稿では、クラウドベースのスケーラブルなシステムを提案する。このシステムは、ピタバイト規模のリモートセンシングアーカイブにおけるコンテンツベースの画像検索を実現し、エラスティック仮想マシン上で分散処理を実行することで、クラウド・ポラリメトリックSARデータをクルード・ポティエル分解を用いてインデックス化する。このシステムは、高パフォーマンスかつ高品質なインタラクティブで対数的複雑性のクエリ・バイ・エグザンプル検索を可能にし、NASA/JPLのUAVSARデータを用いて、パブリックなインfrastracture-as-a-service（IaaS）プラットフォーム上で検証された。

ABSTRACT

Earth Observation (EO) mining aims at supporting efficient access and exploration of petabyte-scale space- and airborne remote sensing archives that are currently expanding at rates of terabytes per day. A significant challenge is performing the analysis required by envisaged applications --- like for instance process mapping for environmental risk management --- in reasonable time. In this work, we address the problem of content-based image retrieval via example-based queries from EO data archives. In particular, we focus on the analysis of polarimetric SAR data, for which target decomposition theorems have proved fundamental in discovering patterns in data and characterize the ground scattering properties. To this end, we propose an interactive region-oriented content-based image mining system in which 1) unsupervised ingestion processes are distributed onto virtual machines in elastic, on-demand computing infrastructures 2) archive-scale content hierarchical indexing is implemented in terms of a "big data" analytics cluster-computing framework 3) query processing amounts to traversing the generated binary tree index, computing distances that correspond to descriptor-based similarity measures between image groups and a query image tile. We describe in depth both the strategies and the actual implementations for the ingestion and indexing components, and verify the approach by experiments carried out on the NASA/JPL UAVSAR full polarimetric data archive. We report the results of the tests performed on computer clusters by using a public Infrastructure-as-a-Service and evaluating the impact of cluster configuration on system performance. Results are promising for data mapping and information retrieval applications.

研究の動機と目的

• 既存のシステムにおけるスケーラビリティの制限により、活用が不十分である巨大で増加し続けるリモートセンシング画像アーカイブを、効率的にマイニングする課題に対処すること。
• ピタスケールのリモートセンシングデータにおいて、低応答時間と高精度を実現するインタラクティブで例示ベースの画像検索を可能にすること。
• コスト効率が良く、オンデマンドで処理可能な大規模な画像インジェストおよびインデクシングを実現するため、パブリックなインfrastracture-as-a-service（IaaS）プラットフォームを活用した分散的でエラスティックなアーキテクチャの開発。
• 記述子の類似度に基づく階層的バイナリツリーインデックスをスケーラブルに実装し、巨大なアーカイブ全体における効率的な類似度検索を支援すること。
• NASA/JPLのUAVSARアーカイブから得た実世界のポラリメトリックSARデータを用いて、システムの実現可能性とパフォーマンスを実証すること。

提案手法

• 入力キューの負荷に基づき、パブリックなIaaS環境における仮想マシンに画像インジェストタスクを動的に分散するエラスティックロードバランサーを活用する。
• スキャッタリング特性の特徴抽出のために、仮想マシン上で非教師ありの分散処理を実行し、クラウド・ポティエル分解を用いてポラリメトリックSAR特徴を抽出する。
• クラスタコンピューティングフレームワークを用いて、類似度記述子に基づく階層的バイナリツリーインデックスを構築する、並列的でスケーラブルなインデクシングアルゴリズムを実装する。
• クエリ処理は、バイナリツリーインデックスをトラバースし、クエリ画像タイルとインデックス化された画像グループ間の記述子ベースの距離を計算することで実行する。
• インジェストおよびインデクシングの間、動的リソース割り当てを可能にするために、パブリックなIaaSプラットフォーム（例：EC2）を活用してコンピューティングクラスタを起動およびスケーリングする。
• 定量的ベンチマークがセンサーおよび解像度の不一致により限られていたため、視覚的検査と定性的評価を用いて検索品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツベースの画像検索を、ピタバイト規模のリモートセンシングアーカイブにスケーリングする方法は何か？ その際、応答時間が短く保たれるか？
• RQ2 クラウドベースのEOマイニングシステムにおいて、クラスターサイズやインスタンスタイプの変更がインデクシングおよびクエリ処理に与えるパフォーマンスへの影響は何か？
• RQ3 分散的でエラスティックな仮想マシンインfraストラクチャは、巨大なポラリメトリックSARアーカイブのインジェストおよびインデクシングに伴う計算およびデータ集約的ワークロードを効果的に処理できるか？
• RQ4 提案された階層的バイナリツリーインデクシング構造は、大規模なリモートセンシング画像リポジトリにおける類似度ベースの検索にどの程度効果的か？
• RQ5 システムは、実世界のEOデータにおいて、高コンテンツ類似度を実現するインタラクティブで例示ベースのクエリをどの程度サポートできるか？

主な発見

• システムは対数的検索複雑性を達成し、応答時間もインタラクティブ利用に適した水準を維持しながら、大規模な環境下でも効率的なクエリ処理を可能にした。
• インデクシングパフォーマンスはクラスターサイズの増加に伴い向上し、テストされたデータ量においては3ノード構成がコストとパフォーマンスの最良のトレードオフを提供した。
• m1.mediumおよびc1.mediumインスタンスタイプは、c1.xlargeインスタンスタイプよりも優れたパフォーマンス対コスト比を示した。c1.xlargeは、限界効果の減少が顕著に見られた。
• 10件のクエリ実験の視覚的検査により、クエリ画像と検索結果の間で高いコンテンツの一貫性が確認され、有効な類似度検索が実現していることが示された。
• システムはスケーラビリティと適応性を示し、ポラリメトリックSARにとどまらず、他のセンサータイプやミッションへの拡張が可能である可能性を示した。
• パブリックなIaaSプラットフォームの使用により、柔軟なオンデマンドリソーススケーリングが可能となり、スケールメリットによる顕著なコスト優位性が得られた。