[論文レビュー] DeepLens: Towards a Visual Data Management System

Sanjay Krishnan, Adam Dziedzic+1 more|arXiv (Cornell University)|Dec 18, 2018

Advanced Image and Video Retrieval Techniques参考文献 20被引用数 11

ひとこと要約

DeepLensは、画像パッチを1等級の関係データとして扱う視覚的データ管理システム（VDMS）を提案する。このシステムにより、ディープラーニング予測に対する宣言的クエリが可能になる。ニューラルネットワーク推論、データレイアウト、クエリ最適化を分離することで、物理的設計とクエリ計画がパフォーマンスと正確性に顕著な影響を与えることが示された。これは、視覚的アナリティクスにおける従来のRDBMSの仮定に挑戦するものである。

ABSTRACT

Advances in deep learning have greatly widened the scope of automatic computer vision algorithms and enable users to ask questions directly about the content in images and video. This paper explores the necessary steps towards a future Visual Data Management System (VDMS), where the predictions of such deep learning models are stored, managed, queried, and indexed. We propose a query and data model that disentangles the neural network models used, the query workload, and the data source semantics from the query processing layer. Our system, DeepLens, is based on dataflow query processing systems and this research prototype presents initial experiments to elicit important open research questions in visual analytics systems. One of our main conclusions is that any future "declarative" VDMS will have to revisit query optimization and automated physical design from a unified perspective of performance and accuracy tradeoffs. Physical design and query optimization choices can not only change performance by orders of magnitude, they can potentially affect the accuracy of results.

研究の動機と目的

• ディープラーニング予測を1等級のデータとして扱う統合的で宣言的な視覚的アナリティクスフレームワークの欠如に対処すること。
• 物理的設計（ストレージレイアウト、インデクシング）とクエリ最適化、正確性の間の相互作用を調査すること。
• クエリ実行計画がパフォーマンスだけでなく、近似演算子における誤差伝搬のため、予測正確性にも影響を与えることの実証。
• データ処理パイプラインとクエリ論理を分離する研究的プロトタイプの構築により、柔軟な最適化を可能にすること。
• コストモデリング、GPU/CPUのトレードオフ、視覚的データにおける近似クエリ処理の分野における未解決の課題の同定。

提案手法

• 視覚的コロケーション（コロケーション）を、関連するメタデータを持つ画像パッチ（部分画像）の集合として表現し、関係スキーマとしてモデル化する。
• パッチ生成（例：オブジェクト検出器からのもの）とクエリ処理を論理的に分離したデータフロー・アーキテクチャを採用する。
• パッチ集合に対して集合的性質を持つ標準的な関係演算子（SELECT、JOIN）をサポートし、ソース形式や出典から抽象化する。
• 多次元インデクシングと物化された中間結果を用いて、クロスビデオオブジェクトマッチングのような複雑なクエリを高速化する。
• レイテンシーやストレージ最適化のため、圧縮、エンコーディング方式（例：H.264）、ハイブリッドレイアウトなどの物理的設計選択肢を可能にする。
• 多様なハードウェアと構成で、6つの視覚的アナリティクスタスクからなるベンチマークを用いて、パフォーマンスと正確性を複数のクエリ計画で評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的データ管理システムは、パフォーマンスと正確性を維持しつつ、ディープラーニング推論と関係的クエリ処理をどのように統合できるか？
• RQ2 物理的設計選択（例：インデクシング、圧縮、ストレージレイアウト）は、クエリ実行時間と結果正確性にどの程度影響を与えるか？
• RQ3 結果が本質的に近似的で誤差相関がある場合に、従来のクエリ最適化原則を視覚的アナリティクスに適用可能か？
• RQ4 CPU対GPUの実行戦略は、複雑な後処理を伴うディープラーニングワークロードにおけるエンドツーエンドパフォーマンスにどのように影響するか？
• RQ5 ラインレージャーとインデクシングは、クロスビデオオブジェクトマッチングと重複除去を効率的に行うために果たす役割は何か？

主な発見

• 物理的設計とクエリ最適化の選択が、パフォーマンスに最大12倍の差をもたらすことが判明。GPUアクセcelerationによりETL時間が最大12倍短縮された。
• クロスビデオオブジェクトマッチングのような複雑なクエリにおいて、演算の順序（マッチングの前後でのフィルタリング）が正確性に影響を与える。マッチング後にフィルタリングを実施した場合、リCALLは0.73から0.82に、精度は0.97から0.98に向上した。
• 入力サイズと演算子コストの非線形的関係は、特に高次元データにおいて、コストベース最適化を複雑にする。
• GPU使用はニューラルネットワーク推論（ETLフェーズ）において顕著な高速化をもたらすが、小さなクエリではオーバーヘッドが利益を上回る可能性があり、GPU選択が自明ではない。
• インデクシングと中間結果の物化により、大規模なクエリで実行時間が最大40％短縮された。これは物理的設計の重要性を示している。
• 本システムは、クエリ計画がパフォーマンスだけでなく、連鎖する近似演算子における誤差伝搬のため、予測正確性にも影響を与えることを実証した。