[論文レビュー] Zelda: Video Analytics using Vision-Language Models

Francisco Romero, Caleb Winston+3 more|arXiv (Cornell University)|May 5, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

Zeldaは、ビデオデータセットに対する自然言語クエリを可能にするビデオアナリティクスシステムであり、ビジョン・ランゲージ・モデル（VLM）を活用することで、高い表現力、関連性、多様性を実現する。自動的にプロンプトの品質を向上させ、低品質なフレームをフィルタリングし、意味的埋め込みを用いて重複する結果を削除することで、最先端のシステムと比較して最大1.15倍高い平均平均精度（MAP）と7.5倍速い検索を達成する。

ABSTRACT

Advances in ML have motivated the design of video analytics systems that allow for structured queries over video datasets. However, existing systems limit query expressivity, require users to specify an ML model per predicate, rely on complex optimizations that trade off accuracy for performance, and return large amounts of redundant and low-quality results. This paper focuses on the recently developed Vision-Language Models (VLMs) that allow users to query images using natural language like "cars during daytime at traffic intersections." Through an in-depth analysis, we show VLMs address three limitations of current video analytics systems: general expressivity, a single general purpose model to query many predicates, and are both simple and fast. However, VLMs still return large numbers of redundant and low-quality results that can overwhelm and burden users. In addition, VLMs often require manual prompt engineering to improve result relevance. We present Zelda: a video analytics system that uses VLMs to return both relevant and semantically diverse results for top-K queries on large video datasets. Zelda prompts the VLM with the user's query in natural language. Zelda then automatically adds discriminator and synonym terms to boost accuracy, and terms to identify low-quality frames. To improve result diversity, Zelda uses semantic-rich VLM embeddings in an algorithm that prunes similar frames while considering their relevance to the query and the number of top-K results requested. We evaluate Zelda across five datasets and 19 queries and quantitatively show it achieves higher mean average precision (up to 1.15x) and improves average pairwise similarity (up to 1.16x) compared to using VLMs out-of-the-box. We also compare Zelda to a state-of-the-art video analytics engine and show that Zelda retrieves results 7.5x (up to 10.4x) faster for the same accuracy and frame diversity.

研究の動機と目的

• 現在のビデオアナリティクスシステムの表現力が限られている問題に対処する。これは、クエリを事前定義されたモデルクラスに制限するためである。
• ユーザーが各クエリ述語ごとに複数の機械学習モデルを手動で選択・訓練する必要をなくす。
• 既存のビデオアナリティクスパイプラインに内在する、システムの複雑さとパフォーマンス／精度のトレードオフを軽減する。
• トップ-Kビデオ検索における重複および低品質な結果の問題を軽減し、結果の多様性と品質を向上させる。
• クエリ固有のトレーニングやアノテーションを必要とせず、単一の汎用VLMを用いて、高速で正確かつユーザーフレンドリーなビデオアナリティクスを実現する。

提案手法

• ユーザーが自然言語で入力したクエリを事前学習済みビジョン・ランゲージ・モデル（VLM）でエンコードし、クエリとビデオフレーム間の意味的類似度を計算する。
• 検索精度と耐障害性を向上させるために、自動的にユーザークエリに識別子用語（例：'not'、'except'）と同義語を追加する。
• ぼやけた画像、ノイズ、関係のないコンテンツを検出するVLMベースの埋め込みを用いて、低品質なフレームを特定・フィルタリングする。
• VLMが生成する埋め込みを活用し、意味的多様性に配慮したプルーニングアルゴリズムを適用することで、関連性が高く、ペアワイズ類似度が低いトップ-Kフレームをランク付け・選択する。
• VLMのゼロショット機能を活用して、再トレーニングやモデル特化なしに、複雑な複数述語クエリをサポートする。
• クエリ固有のモデルトレーニングを回避し、すべてのクエリに共通して使用可能な高速な共有VLM推論に依存することで、効率性を最適化する。

Figure 1 . Current systems (a) limit predicate expressivity, require user expertise for model selection, and are complex to use. Our system Zelda (b) allows expressive querying in natural language using a single fast model while returning relevant and diverse results.

実験結果

リサーチクエスチョン

• RQ1 ビジョン・ランゲージ・モデル（VLM）は、特殊化された機械学習モデルの代替として、汎用的かつゼロショットでビデオアナリティクスシステムに使用可能だろうか？
• RQ2 同義語と識別子を用いた自動プロンプト工学によって、VLMベースのビデオ検索精度はどの程度向上するのか？
• RQ3 意味的埋め込みに基づく多様性プルーニングは、関連性を維持したまま重複する結果をどの程度効果的に削減できるのか？
• RQ4 VLMベースのシステムは、出荷時そのままのVLM推論と比較して、より高い平均平均精度（MAP）と低い結果類似度を達成できるのか？
• RQ5 Zeldaのエンドツーエンドのパフォーマンスは、速度、正確性、結果の多様性という観点から、最先端のビデオアナリティクスシステムと比較してどの程度優れているのか？

主な発見

• Zeldaは、VLMをそのまま使用する場合と比較して、平均平均精度（MAP）を最大1.15倍まで向上させ、検索精度の顕著な向上を示している。
• Zeldaは、トップ-K結果間の平均ペアワイズ類似度を最大1.16倍まで低減しており、取得されたフレームの意味的多様性が向上していることを示している。
• Zeldaは、最先端のビデオアナリティクスシステム（BlazeIt）と比較して最大10.4倍速い検索を実現しながら、同等の正確性を維持している。
• 平均して、Zeldaは最高性能を示したベースラインシステムと比較して7.5倍速く、多様なデータセットにわたる強力なスケーラビリティを示している。
• 手動でのアノテーションや追加のトレーニングを一切必要とせず、VLMベースの品質スコアリングに依存するだけで、低品質なフレームを効果的に除去している。
• 視覚的類似度手法と比較して、意味的類似度に基づく多様性プルーニングは、より高いMAP（1.06倍向上）を達成し、調整が必要なハイパーパrameterの数も少なくなる。

Figure 2 . General architecture of vision-language models.