[論文レビュー] Rekall: Specifying Video Events using Compositions of Spatiotemporal Labels

Daniel Y. Fu, Will Crichton+8 more|arXiv (Cornell University)|Oct 7, 2019

Video Analysis and Summarization参考文献 55被引用数 20

ひとこと要約

Rekallは、時空間ラベルを用いて事前学習済みモデルの出力を合成することで、複雑な動画イベントをクエリベースで指定するフレームワークを導入した。ドメインスペシャリストは、再訓練を必要とせず、わずか数時間のクエリ開発時間で、学習済みモデルと同等またはそれ以上の検出精度を達成した—最大26.1 F1ポイントの向上—、再訓練を伴わず、迅速で柔軟な動画分析を可能にした。

ABSTRACT

Many real-world video analysis applications require the ability to identify domain-specific events in video, such as interviews and commercials in TV news broadcasts, or action sequences in film. Unfortunately, pre-trained models to detect all the events of interest in video may not exist, and training new models from scratch can be costly and labor-intensive. In this paper, we explore the utility of specifying new events in video in a more traditional manner: by writing queries that compose outputs of existing, pre-trained models. To write these queries, we have developed Rekall, a library that exposes a data model and programming model for compositional video event specification. Rekall represents video annotations from different sources (object detectors, transcripts, etc.) as spatiotemporal labels associated with continuous volumes of spacetime in a video, and provides operators for composing labels into queries that model new video events. We demonstrate the use of Rekall in analyzing video from cable TV news broadcasts, films, static-camera vehicular video streams, and commercial autonomous vehicle logs. In these efforts, domain experts were able to quickly (in a few hours to a day) author queries that enabled the accurate detection of new events (on par with, and in some cases much more accurate than, learned approaches) and to rapidly retrieve video clips for human-in-the-loop tasks such as video content curation and training data curation. Finally, in a user study, novice users of Rekall were able to author queries to retrieve new events in video given just one hour of query development time.

研究の動機と目的

• 事前学習済みモデルが存在しないドメイン固有の動画イベントを検出する課題に対処すること。
• エンドツーエンドのモデル再訓練や大規模な人手によるアノテーションを回避することで、動画イベント検出のコストと時間を削減すること。
• アナリストが既存の動画アノテーションを組み合わせて新しいイベントを検出するクエリを迅速に作成・最適化できるようにすること。
• 動画コンテンツのキュエーリング、トレーニングデータ収集、モデルデバッグのためのアジールで、人間が関与するワークフローを支援すること。
• ヒューリスティックな合成によって事前学習済みモデル出力を組み合わせることで、精度と効率性において学習済みアプローチを上回るか同等の性能を達成できることを示すこと。

提案手法

• 物体検出器や字幕など、多様なソースからの動画アノテーションを、関連するメタデータを持つ時空間内の連続的なボリューム（スパティオトロピカルラベル）として表現すること。
• 階層的なラベルの合成を可能にするプログラミングモデルを提供し、複雑なイベント構造を定義すること。
• ラベル間の時間的および空間的合成操作（例：重複、近接、包含）をサポートし、イベントの意味をモデル化すること。
• 再訓練を必要とせず、既存のモデル出力を組み合わせる宣言的クエリをユーザーが記述できるようにすること。
• マルチモーダルかつマルチリソリューションのアノテーション（例：フレームレベルの検出、単語レベルの字幕）を統一されたデータモデルで処理すること。
• 結果の確認に基づいた反復的クエリの最適化を可能にし、しきい値や重複の調整、デバッグを支援すること。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みモデル出力の合成的クエリ作成は、再訓練を伴わず、新しい動画イベントの正確な検出を達成できるか？
• RQ2 Rekallのヒューリスティックな合成アプローチは、実世界の動画分析タスクにおいてエンドツーエンドの学習済みモデルと比較して、どのように性能を発揮するか？
• RQ3 非スペシャリストがRekallを用いて、新しい動画イベント用の効果的なクエリをどれほど迅速に作成できるか？
• RQ4 Rekallは、実世界の応用において、トレーニングデータや異常な動画クリップの発見・キュエーリングをどのように支援するか？
• RQ5 低レベルのラベルが遮蔽やモデルの不正確さによって失敗した場合、構成的指定の限界はどこにあるか？

主な発見

• ドメインスペシャリストがRekallを用いることで、学習済みアプローチと同等、あるいは最大26.1 F1ポイントも高い検出精度を達成した。
• 評価されたタスク全体を通じて、平均してRekallクエリは学習済みモデルよりも6.5 F1ポイント高い精度を示した。
• 初心者ユーザーは、わずか1時間の開発時間で、新しい動画イベント用の機能的なクエリを生成できた。
• Rekallは、コンテンツキュエーリングやトレーニングデータ収集のための動画クリップの迅速な取得を可能にし、人間が関与するワークフローを顕著に加速した。
• このフレームワークは、ニュース、映画、自動運転車両のログなど多様な分野において、インタビュー、広告、アクションシーン、交通事故など、さまざまなイベントを正常に検出できた。
• 一方で、Rekallは遮蔽によってベース検出器が失敗した場合、微細な動きや行動のモデリング（例：キスシーン）を必要とするイベントでは、困難をきたした。