[論文レビュー] IntentVizor: Towards Generic Query Guided Interactive Video Summarization

Guande Wu, Jianzhe Lin+1 more|arXiv (Cornell University)|Sep 30, 2021

Video Analysis and Summarization被引用数 4

ひとこと要約

IntentVizor は、ユーザーの意図を学習可能で編集可能な基本的意図上の分布として表現する、インタラクティブでクエリ誘導型の動画要約フレームワークを提案する。複数モーダルなクエリ（テキストおよび動画スニペット）を用い、GSE-GCN と呼ばれる新規の粒度スケーラブルな自己グラフ畳み込みネットワークと、リアルタイムでの意図調整を可能にする視覚的インターフェースを統合することで、要約品質と解釈可能性が向上し、ベンチマークデータセット上で最先端の手法を上回る性能を示し、複数モーダルにわたる強力な一般化性能を発揮する。

ABSTRACT

The target of automatic video summarization is to create a short skim of the original long video while preserving the major content/events. There is a growing interest in the integration of user queries into video summarization or query-driven video summarization. This video summarization method predicts a concise synopsis of the original video based on the user query, which is commonly represented by the input text. However, two inherent problems exist in this query-driven way. First, the text query might not be enough to describe the exact and diverse needs of the user. Second, the user cannot edit once the summaries are produced, while we assume the needs of the user should be subtle and need to be adjusted interactively. To solve these two problems, we propose IntentVizor, an interactive video summarization framework guided by generic multi-modality queries. The input query that describes the user's needs are not limited to text but also the video snippets. We further represent these multi-modality finer-grained queries as user `intent', which is interpretable, interactable, editable, and can better quantify the user's needs. In this paper, we use a set of the proposed intents to represent the user query and design a new interactive visual analytic interface. Users can interactively control and adjust these mixed-initiative intents to obtain a more satisfying summary through the interface. Also, to improve the summarization quality via video understanding, a novel Granularity-Scalable Ego-Graph Convolutional Networks (GSE-GCN) is proposed. We conduct our experiments on two benchmark datasets. Comparisons with the state-of-the-art methods verify the effectiveness of the proposed framework. Code and dataset are available at https://github.com/jnzs1836/intent-vizor.

研究の動機と目的

• クエリ駆動型動画要約における静的でテキストオンリーのクエリの限界を解消し、曖昧なまたは変化するユーザーのニーズを的確に捉えること。
• ユーザーが視覚的インターフェースを通じて繰り返し意図を精緻化できる、インタラクティブでユーザー誘導型の要約を実現すること。
• テキスト、動画スニペット、および将来的には他のモーダルティの可能性を含む、柔軟なユーザー入力を可能にする汎用的で複数モーダルなクエリフレームワークの開発。
• ユーザーの意図を基本的意図上の学習可能で調整可能な分布としてモデル化することで、要約性能を向上させ、解釈可能性と正確性を高めること。
• 異なるクエリモーダルティに対応する意図抽出と要約生成の両方をサポートする統一されたディープラーニングバックボーン（GSE-GCN）の設計。

提案手法

• フレームワークは、固定されたカテゴリーや埋め込みではなく、ユーザーのニーズの低レベルな意味的コンponents（基本的意図）上の学習可能で解釈可能で編集可能な分布として「意図」を導入する。
• 動画特徴と複数モーダルクエリを同時に符号化できる新規の粒度スケーラブルな自己グラフ畳み込みネットワーク（GSE-GCN）を提案し、柔軟な時間的粒度と共有表現学習を可能にする。
• 意図モジュールは、GSE-GCNバックボーンを用いて、複数モーダルクエリ（テキストまたは動画スニペット）を、基本的意図上の確率分布に変換する。
• 要約モジュールは、同じGSE-GCNバックボーンを用いて、確率分布で重み付けされた基本的意図を組み合わせることで、要約動画を簡潔に生成する。
• ミックス・イニシアチブ型の視覚的インターフェースにより、ユーザーはリアルタイムで意図分布を調整でき、生成された要約に対して即時のフィードバックを受け取れる。
• ゼロショット転移学習をサポート：テキストクエリで事前学習された要約モジュールは、モデル全体を再学習せずに、視覚的クエリで微調整可能である。

実験結果

リサーチクエスチョン

• RQ1 テキストオンリーのクエリに比べ、テキストと動画スニペットの複数モーダルクエリは、動画要約において多様で変化するユーザーのニーズをよりよく表現できるか？
• RQ2 ユーザーの意図を、調整可能で解釈可能な基本的意図上の分布としてどのようにモデル化できるか？ これにより、インタラクティブな精緻化が可能になるか？
• RQ3 共通のGSE-GCNバックボーンが、異なるクエリモーダルティにおいて、意図抽出と動画要約の両方を効果的にサポートできるか？
• RQ4 リアルタイムでの意図操作が可能なインタラクティブインターフェースは、非インタラクティブなベースラインに比べ、ユーザー満足度と要約品質を向上させるか？
• RQ5 テキストクエリで事前学習したモデルは、転移学習により視覚的クエリに効果的に一般化できるか？

主な発見

• 提案された IntentVizor フレームワークは、2つのベンチマークデータセットで最先端の性能を達成し、クエリ誘導型動画要約における優れた有効性を示した。
• 転移学習の実験から、テキストクエリで事前学習した要約モジュールが視覚的クエリにうまく一般化し、通常の設定で学習されたモデルを上回ることを確認した。
• 視覚的インターフェースにより、ユーザーは意図分布の調整を通じて要約を段階的に精緻化でき、ユーザーのコントロール感と満足度が著しく向上した。
• アブレーションスタディにより、GSE-GCN の粒度スケーラブル設計の必要性が確認され、異なる時間的粒度においても性能が向上した。
• 定性的分析から、フレームワークが細分化された意図クラスタ（例：「料理の調理」や「食品の保存」）を正しく同定していることが確認され、解釈可能性と意味的豊かさを示した。
• フレームワークは、『食事用テーブル』と『作業用テーブル』の区別といった、複雑で多面的なユーザーのニーズを、分離可能な基本的意図を通じて効果的に捉えた。