[논문 리뷰] Distributed mining of large scale remote sensing image archives on public computing infrastructures

Luigi Mascolo, Marco Quartulli외 3명|arXiv (Cornell University)|2015. 01. 17.

Data Management and Algorithms참고 문헌 13인용 수 4

한 줄 요약

이 논문은 클라우드 기반의 확장 가능한 시스템을 제안하며, 페타바이트 규모의 원격 감시 압축 자료에서 콘텐츠 기반 이미지 검색을 수행한다. 이는 탄력적인 가상 머신에서 분산 처리를 통해 클라우드-포타이어 분해를 이용한 펄스형 SAR 데이터를 색인화한다. 이 시스템은 높은 성능과 품질을 갖춘 상호작용형, 로그함수 복잡도의 예제 기반 검색을 가능하게 하며, NASA/JPL UAVSAR 데이터를 사용하여 공개된 인fra스트럭처-아즈-서비스(IaaS) 플랫폼을 통해 검증되었다.

ABSTRACT

Earth Observation (EO) mining aims at supporting efficient access and exploration of petabyte-scale space- and airborne remote sensing archives that are currently expanding at rates of terabytes per day. A significant challenge is performing the analysis required by envisaged applications --- like for instance process mapping for environmental risk management --- in reasonable time. In this work, we address the problem of content-based image retrieval via example-based queries from EO data archives. In particular, we focus on the analysis of polarimetric SAR data, for which target decomposition theorems have proved fundamental in discovering patterns in data and characterize the ground scattering properties. To this end, we propose an interactive region-oriented content-based image mining system in which 1) unsupervised ingestion processes are distributed onto virtual machines in elastic, on-demand computing infrastructures 2) archive-scale content hierarchical indexing is implemented in terms of a "big data" analytics cluster-computing framework 3) query processing amounts to traversing the generated binary tree index, computing distances that correspond to descriptor-based similarity measures between image groups and a query image tile. We describe in depth both the strategies and the actual implementations for the ingestion and indexing components, and verify the approach by experiments carried out on the NASA/JPL UAVSAR full polarimetric data archive. We report the results of the tests performed on computer clusters by using a public Infrastructure-as-a-Service and evaluating the impact of cluster configuration on system performance. Results are promising for data mapping and information retrieval applications.

연구 동기 및 목표

• 기존 시스템의 확장성 한계로 인해 활용도가 낮은 거대하고 증가하는 원격 감시 이미지 자료를 효율적으로 채굴하는 도전 과제를 해결한다.
• 페타스케일 원격 감시 데이터에서 낮은 응답 시간과 높은 정확도를 갖춘 상호작용형, 예제 기반의 이미지 검색을 가능하게 한다.
• 비용 효율적이고 수요에 따라 처리할 수 있는 대규모 이미지 수집 및 색인화를 위한 공개 인프라스트럭처-아즈-서비스(IaaS) 플랫폼을 활용한 분산형, 탄력적인 아키텍처를 개발한다.
• 유사도 기반의 이진 트리 색인을 기반으로 한 계층적 이진 트리 색인을 확장 가능하고 효율적인 유사도 검색을 지원하기 위해 구현한다.
• 실제 펄스형 SAR 데이터를 사용하여 NASA/JPL UAVSAR 자료에서의 시스템의 타당성과 성능을 입증한다.

제안 방법

• 입력 큐의 로드에 따라 공개 IaaS 환경 내 가상 머신에 이미지 수집 작업을 동적으로 분배하기 위해 탄력적 로드 밸런서를 활용한다.
• 산란 특성 분석을 위해 클라우드-포타이어 분해를 사용하여 펄스형 SAR 특징을 추출하기 위해 비지도, 분산 처리를 가상 머신에서 수행한다.
• 유사도 서술자 기반으로 계층적 이진 트리 색인을 구축하기 위해 클러스터 컴퓨팅 프레임워크를 사용한 병렬적이고 확장 가능한 색인 알고리즘을 구현한다.
• 쿼리 처리를 위해 이진 트리 색인을 탐색하고, 쿼리 이미지 타일과 색인화된 이미지 그룹 간의 서술자 기반 거리를 계산한다.
• 컴퓨팅 클러스터를 인스턴스화하고 확장하기 위해 공개 IaaS 플랫폼(예: EC2)을 활용하여 수집 및 색인화 중 동적 자원 할당이 가능하도록 한다.
• 정량적 기준이 센서 및 해상도 불일치로 인해 제한된 점을 감안해, 시각적 검토와 정성적 평가를 통해 검색 품질을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 페타바이트 규모의 원격 감시 압축 자료에서 낮은 응답 시간을 유지하면서 콘텐츠 기반 이미지 검색을 확장할 수 있는가?
• RQ2 클라우드 기반 지구관측(EO) 채굴 시스템에서 색인화 및 쿼리 처리에 대해 클러스터 크기와 인스턴스 유형을 다양화했을 때의 성능 영향은 어떠한가?
• RQ3 분산형, 탄력적인 가상 머신 인프라는 대규모 펄스형 SAR 자료의 수집 및 색인화를 위한 계산 및 데이터 집약적인 워크로드를 효과적으로 처리할 수 있는가?
• RQ4 제안된 계층적 이진 트리 색인 구조는 대규모 원격 감시 이미지 저장소에서 유사도 기반 검색에 얼마나 효과적인가?
• RQ5 시스템은 실제 지구관측(EO) 데이터에서 높은 콘텐츠 유사도를 갖춘 상호작용형, 예제 기반 쿼리에 얼마나 잘 대응하는가?

주요 결과

• 시스템은 로그함수 복잡도를 달성하여 대규모 환경에서도 효율적인 쿼리 처리가 가능했으며, 상호작용 사용에 적합한 응답 시간을 확보했다.
• 클러스터 크기가 증가할수록 색인화 성능이 향상되었으며, 테스트된 데이터 양에서 3노드 구성이 비용 대비 성능의 최적 균형을 제공했다.
• m1.medium 및 c1.medium 인스턴스 유형은 c1.xlarge 인스턴스보다 더 높은 성능 대비 비용 비율을 보였으며, 후자는 수익 감소 현상이 나타났다.
• 10개의 쿼리 실험에 대한 시각적 검토 결과, 쿼리 이미지와 검색 결과 간의 높은 콘텐츠 일致성이 확인되어 효과적인 유사도 검색이 이루어졌음을 시사한다.
• 시스템은 확장성과 적응성을 입증했으며, 펄스형 SAR를 초과하여 다른 센서 유형과 임무로의 확장 가능성이 있다.
• 공개 IaaS 플랫폼의 사용은 탄력적이고 수요에 맞는 자원 확장과 규모의 경제를 통한 상당한 비용 우수성을 제공했다.