[논문 리뷰] VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads

Luis Remis, Vishakha Gupta-Cledat외 2명|arXiv (Cornell University)|2018. 10. 28.

Advanced Data Storage Technologies참고 문헌 7인용 수 6

한 줄 요약

VDMS는 오픈소스인 시각적 데이터 관리 시스템으로, 지속 메모리 기반 그래프 데이터베이스에 메타데이터를 인덱싱하고 기계 친화적인 시각적 컴퓨팅 라이브러리를 사용하여 기계학습을 위한 대용량 시각적 데이터 접근을 가속화한다. 표준 구성 요소를 사용하는 사전 설계된 시스템 대비 복잡한 쿼리에서 최대 2배 빠른 성능을 달성한다.

ABSTRACT

We introduce the Visual Data Management System (VDMS), which enables faster access to big-visual-data and adds support to visual analytics. This is achieved by searching for relevant visual data via metadata stored as a graph, and enabling faster access to visual data through new machine-friendly storage formats. VDMS differs from existing large scale photo serving, video streaming, and textual big-data management systems due to its primary focus on supporting machine learning and data analytics pipelines that use visual data (images, videos, and feature vectors), treating these as first class entities. We describe how to use VDMS via its user friendly interface and how it enables rich and efficient vision analytics through a machine learning pipeline for processing medical images. We show the improved performance of 2x in complex queries over a comparable set-up.

연구 동기 및 목표

• 기계학습 및 분석 워크플로우에서 시각적 데이터를 관리하기 위한 확장 가능하고 통합된 시스템의 부족을 해결하기 위해.
• 메타데이터, 스토리지, 전처리를 별도의 도구로 조합한 사전 설계된 데이터 접근 스택의 복잡성과 성능 오버헤드를 줄이기 위해.
• 단일 사용자 友好的 API를 통해 이미지, 영상, 특징 벡터 등 rich 메타데이터를 가진 데이터에 효율적이고 통합된 접근을 가능하게 하기 위해.
• 메타데이터 탐색과 대규모 이미지 검색을 포함한 복잡한 쿼리의 성능을 향상시키기 위해.
• 유연하고 확장 가능한 아키텍처에서 스키마 진화와 기계학습 기반 메타데이터 강화를 지원하기 위해.

제안 방법

• VDMS는 지속 메모리 기반 그래프 데이터베이스(PMGD)를 사용하여 메타데이터를 속성 그래프로 저장하고 쿼리하는 클라이언트-서버 아키텍처를 채택한다.
• 기계 친화적인 시각적 데이터 포맷을 네이티브로 처리하고 서버 측 전처리를 가능하게 하기 위해 커스터마이징된 시각적 컴퓨팅 라이브러리(VCL)를 활용한다.
• 메타데이터 쿼리는 PMGD를 기반으로 한 그래프 탐색을 통해 실행되어 복잡한 관계(예: 환자, 검사, 치료법) 간의 효율적 검색을 가능하게 한다.
• 시각적 데이터 검색 및 전처리(예: 크기 조정)가 서버 측에서 공유되어 네트워크 전송 오버헤드를 감소시킨다.
• 저수준 I/O 및 처리를 추상화하는 고수준 파이썬 API를 제공하여 메타데이터 검색과 시각적 데이터 작업을 통합한다.
• 지속 메모리 하드웨어 기반으로 구축되어 메타데이터 접근 속도를 가속화하고 전체 시스템 처리량을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 도구의 사전 설계된 조합 대비 통합된 시각적 데이터 관리 시스템이 쿼리 성능 측면에서 현저하게 뛰어나게 되는가?
• RQ2 서버 측에서 이미지 전처리를 공유함으로써 종단 간 쿼리 지연 시간과 데이터 전송량에 어떤 영향을 미치는가?
• RQ3 지속 메모리 최적화된 그래프 데이터베이스가 복잡한 시각적 분석 워크로드의 메타데이터 쿼리 성능을 얼마나 향상시킬 수 있는가?
• RQ4 단일 고수준 API가 복잡한 시각적 기계학습 워크플로우에서 코드 복잡성과 개발 노력 감소에 얼마나 기여하는가?
• RQ5 VDMS는 새로운 기계학습 통찰에 대응해 진화하는 메타데이터 스키마를 어떻게 지원하는가?

주요 결과

• VDMS는 메타데이터를 기반으로 75세 이상 환자에서 템오다르 화학요법을 받은 모든 뇌 영상 검색과 같은 복잡한 쿼리에서, MemSQL, Apache HTTP, OpenCV를 사용하는 베이스라인 대비 최대 2배 빠른 성능 향상을 달성했다.
• VDMS의 서버 측 전처리 기능은 특히 대규모 이미지 검색에서 데이터 전송량을 감소시켜 종단 간 지연 시간을 크게 향상시켰다.
• 간단한 쿼리에서도 성능 저하 없이 높은 성능을 유지하여 다양한 쿼리 유형 간 균형 잡힌 효율성을 입증했다.
• 복잡한 시각적 데이터 워크플로우를 구현하는 데 필요한 코드 라인 수를 줄여 개발과 재현 가능성을 단순화했다.
• 지속 메모리 최적화된 PMGD의 사용으로 빠른 메타데이터 접근이 가능했으며, 그래프 탐색과 대규모 데이터 세트를 포함한 워크로드에서 성능 향상이 더욱 두드러졌다.
• 통합된 API와 특징 벡터 및 시각적 데이터 포맷에 대한 네이티브 지원은 기계학습 워크플로우와의 통합을 간편하게 했으며, 특히 의료 영상 분야에서 유용했다.