[論文レビュー] VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads

Luis Remis, Vishakha Gupta-Cledat+2 more|arXiv (Cornell University)|Oct 28, 2018

Advanced Data Storage Technologies参考文献 7被引用数 6

ひとこと要約

VDMS は、永続メモリグラフデータベースでメタデータをインデクスし、効率的なデータ取得および前処理のための機械向けのビジュアルコンピューティングライブラリを用いるオープンソースのビジュアルデータ管理システムです。これにより、機械学習におけるビッグビジュアルデータへのアクセスが加速され、市販部品を用いたアドホックなシステムと比較して、複雑なクエリにおいて最大2倍の高速化を達成しています。

ABSTRACT

We introduce the Visual Data Management System (VDMS), which enables faster access to big-visual-data and adds support to visual analytics. This is achieved by searching for relevant visual data via metadata stored as a graph, and enabling faster access to visual data through new machine-friendly storage formats. VDMS differs from existing large scale photo serving, video streaming, and textual big-data management systems due to its primary focus on supporting machine learning and data analytics pipelines that use visual data (images, videos, and feature vectors), treating these as first class entities. We describe how to use VDMS via its user friendly interface and how it enables rich and efficient vision analytics through a machine learning pipeline for processing medical images. We show the improved performance of 2x in complex queries over a comparable set-up.

研究の動機と目的

• 機械学習および分析パイプラインにおけるビジュアルデータ管理のためのスケーラブルで統合されたシステムの不足に対処すること。
• メタデータ、ストレージ、前処理のための別々のツールを組み合わせたアドホックなデータアクセススタックの複雑さとパフォーマンスオーバーヘッドを低減すること。
• 1つのユーザーフレンドリーなAPIを通じて、画像、動画、特徴ベクトルに豊富なメタデータを統合的に効率的にアクセス可能にすること。
• メタデータのトラバーサルと大規模な画像検索を含む複雑なクエリのパフォーマンスを向上させること。
• 柔軟で拡張可能なアーキテクチャにおいて、スキーマの進化と機械学習駆動のメタデータ強化をサポートすること。

提案手法

• VDMS は、ビジュアルメタデータをプロパティグラフとして格納・照会するための永続メモリグラフデータベース（PMGD）を用いたクライアント・サーバー型アーキテクチャを採用している。
• サーバー側での前処理を可能にするために、独自のビジュアルコンピューティングライブラリ（VCL）を採用し、機械向けのビジュアルデータフォーマットをネイティブに処理している。
• メタデータクエリは PMGD を介したグラフトラバーサルによって実行され、患者、スキャン、治療法などの複雑な関係性を効率的に検索可能である。
• ビジュアルデータの取得および前処理（例：リサイズ）がサーバー側に統合されており、ネットワーク転送のオーバーヘッドが低減されている。
• 低レベルのI/Oおよび処理を抽象化する高水準なPython APIを提供しており、メタデータ検索とビジュアルデータ操作を統合している。
• VDMS は、メタデータアクセスの高速化と全体的なシステムスループットの向上を図るため、永続メモリハードウェアを基盤として構築されている。

実験結果

リサーチクエスチョン

• RQ1 統合的なビジュアルデータ管理システムは、既存のツールをアドホックに組み合わせたものと比較して、クエリパフォーマンスにおいて顕著に優れていると言えるか？
• RQ2 サーバー側での画像前処理を実装することで、エンドツーエンドのクエリ遅延とデータ転送量にどのような影響を与えるか？
• RQ3 永続メモリ最適化されたグラフデータベースは、複雑なビジュアルアナリティクスワークロードにおけるメタデータクエリパフォーマンスをどの程度向上できるか？
• RQ4 1つの高水準APIは、複雑なビジュアルMLパイプラインにおけるコードの複雑さと開発作業をどの程度軽減できるか？
• RQ5 VDMS は、新たな機械学習の知見に応じて変化するメタデータスキーマをどのようにサポートするか？

主な発見

• VDMS は、75歳以上の患者でテモダール化学療法を受けていたすべての脳スキャンを取得するような複雑なクエリにおいて、MemSQL、Apache HTTP、OpenCV を使用したベースラインと比較して、2倍のパフォーマンス向上を達成した。
• VDMS のサーバー側前処理により、特に大規模な画像検索においてデータ転送量が削減され、エンドツーエンドの遅延が顕著に改善された。
• 単純なクエリに対してもパフォーマンス劣化がなく、クエリタイプにわたるバランスの取れた効率性を維持した。
• 複雑なビジュアルデータパイプラインを実装するために必要なコード行数が削減され、開発と再現性が簡素化された。
• 永続メモリ最適化されたPMGDの使用により、メタデータアクセスが高速化され、グラフトラバーサルや大規模データセットを含むワークロードでは性能向上が顕著に現れた。
• 統合されたAPIと特徴ベクトルおよびビジュアルデータフォーマットのネイティブサポートにより、特に医療画像分野における機械学習パイプラインへの統合が簡素化された。