[论文解读] Distributed mining of large scale remote sensing image archives on public computing infrastructures

Luigi Mascolo, Marco Quartulli+3 more|arXiv (Cornell University)|Jan 17, 2015

Data Management and Algorithms参考文献 13被引用 4

一句话总结

本文提出了一种可扩展的、基于云的系统，用于在拍字节规模的遥感档案中实现基于内容的图像检索，通过在弹性虚拟机上进行分布式处理，利用Cloude-Pottier分解对极化SAR数据进行索引。该系统实现了高性能、高质量的交互式、对数复杂度的示例查询检索，基于NASA/JPL的UAVSAR数据在公共基础设施即服务（IaaS）平台上进行了验证。

ABSTRACT

Earth Observation (EO) mining aims at supporting efficient access and exploration of petabyte-scale space- and airborne remote sensing archives that are currently expanding at rates of terabytes per day. A significant challenge is performing the analysis required by envisaged applications --- like for instance process mapping for environmental risk management --- in reasonable time. In this work, we address the problem of content-based image retrieval via example-based queries from EO data archives. In particular, we focus on the analysis of polarimetric SAR data, for which target decomposition theorems have proved fundamental in discovering patterns in data and characterize the ground scattering properties. To this end, we propose an interactive region-oriented content-based image mining system in which 1) unsupervised ingestion processes are distributed onto virtual machines in elastic, on-demand computing infrastructures 2) archive-scale content hierarchical indexing is implemented in terms of a "big data" analytics cluster-computing framework 3) query processing amounts to traversing the generated binary tree index, computing distances that correspond to descriptor-based similarity measures between image groups and a query image tile. We describe in depth both the strategies and the actual implementations for the ingestion and indexing components, and verify the approach by experiments carried out on the NASA/JPL UAVSAR full polarimetric data archive. We report the results of the tests performed on computer clusters by using a public Infrastructure-as-a-Service and evaluating the impact of cluster configuration on system performance. Results are promising for data mapping and information retrieval applications.

研究动机与目标

• 解决现有系统在可扩展性方面的局限性，导致大规模、持续增长的遥感图像档案利用率低下这一挑战。
• 在拍字节规模的遥感数据中实现低响应时间、高准确率的交互式、基于示例的图像检索。
• 开发一种分布式的弹性架构，利用公共基础设施即服务（IaaS）平台，实现大规模图像摄入和索引的低成本、按需处理。
• 实现一种基于描述符相似性的可扩展分层二叉树索引，以支持在大规模档案中高效进行相似性搜索。
• 在NASA/JPL的UAVSAR档案真实极化SAR数据上，展示该系统的可行性与性能。

提出的方法

• 利用弹性负载均衡器，根据输入队列负载，动态地将图像摄入任务分发到公共IaaS环境中的虚拟机上。
• 在虚拟机上应用无监督的分布式处理，利用Cloude-Pottier分解提取极化SAR特征，以表征散射特性。
• 使用集群计算框架实现并行、可扩展的索引算法，基于相似性描述符构建分层二叉树索引。
• 通过遍历二叉树索引并计算查询图像块与索引图像组之间的基于描述符的距离，执行查询处理。
• 利用公共IaaS平台（如EC2）实例化和扩展计算集群，实现在摄入和索引期间的动态资源分配。
• 采用视觉检查和定性评估来评估检索质量，因为定量基准受限于传感器和分辨率不匹配。

实验结果

研究问题

• RQ1 如何在保持低响应时间的同时，将基于内容的图像检索扩展到拍字节规模的遥感档案？
• RQ2 在基于云的地球观测（EO）数据挖掘系统中，集群规模和实例类型的变化对索引和查询处理性能有何影响？
• RQ3 分布式、弹性虚拟机基础设施能否有效处理大规模极化SAR档案摄入和索引的计算和数据密集型工作负载？
• RQ4 所提出的分层二叉树索引结构在大规模遥感图像存储库中基于相似性的检索中有多高效？
• RQ5 该系统在真实地球观测数据中，对支持交互式、基于示例的查询并实现高内容相似度的程度如何？

主要发现

• 该系统实现了对数复杂度的搜索，即使在大规模下也能实现高效的查询处理，响应时间适合交互式使用。
• 随着集群规模的增加，索引性能得到提升，三节点配置在测试数据量下提供了成本与性能的最佳平衡。
• 使用m1.medium和c1.medium实例类型相比c1.xlarge实例类型获得了更好的性能-成本比，后者表现出收益递减。
• 对10次查询实验的视觉检查确认了查询图像与检索结果之间具有高度的内容一致性，表明相似性检索有效。
• 该系统展示了可扩展性和适应性，具有扩展至其他传感器类型和任务的潜力。
• 使用公共IaaS平台实现了灵活的按需资源扩展，并通过规模经济实现了显著的成本优势。