[論文レビュー] Induce, Edit, Retrieve: Language Grounded Multimodal Schema for Instructional Video Retrieval

Yue Yang, Joongwon Kim+3 more|arXiv (Cornell University)|Nov 17, 2021

Multimodal Machine Learning Applications参考文献 52被引用数 8

ひとこと要約

この論文では、指示動画から明示的で言語ベースのスキーマを誘導し、BERT駆動のテキスト編集によって未学習タスクに一般化する、新しいフレームワークであるInduce, Edit, Retrieve (IER) を提案する。誘導されたスキーマを用いて短いクエリを拡張することで、IERはゼロショットの指示動画検索性能を著しく向上させ、ベンチマークデータセット上でトップ1精度で既存手法と比べて約10%の向上を達成した。

ABSTRACT

Schemata are structured representations of complex tasks that can aid artificial intelligence by allowing models to break down complex tasks into intermediate steps. We propose a novel system that induces schemata from web videos and generalizes them to capture unseen tasks with the goal of improving video retrieval performance. Our system proceeds in three major phases: (1) Given a task with related videos, we construct an initial schema for a task using a joint video-text model to match video segments with text representing steps from wikiHow; (2) We generalize schemata to unseen tasks by leveraging language models to edit the text within existing schemata. Through generalization, we can allow our schemata to cover a more extensive range of tasks with a small amount of learning data; (3) We conduct zero-shot instructional video retrieval with the unseen task names as the queries. Our schema-guided approach outperforms existing methods for video retrieval, and we demonstrate that the schemata induced by our system are better than those generated by other models.

研究の動機と目的

• 動画-テキストデータから明示的で解釈可能なスキーマを学習することで、ゼロショットの指示動画検索を向上させること。
• 既存のスキーマを言語モデル駆動で編集することで、最小限のデータで未学習タスクに一般化できることを可能にすること。
• GPT-3のような大規模言語モデルから得られるスキーマよりも、動画から誘導されたスキーマが検索タスクで優れていることを示すこと。
• CLIP や MIL-NCE などの異なる動画-テキストマッチングモデル間でスキーマの転送性を検証すること。
• 動画長が延びるに従ってスキーマの効果がどのように変化するかを調査すること。

提案手法

• 共同動画-テキストマッチングモデルを用いて、動画セグメントと wikiHow の手順記述を照合し、スコアが高い文-動画ペairを保持することでスキーマを誘導する。
• 1タスクあたり50本の動画のみを用いて、自然言語の手順の集合としてタスク固有のスキーマを構築し、高品質な誘導を達成する。
• 3つの編集ルーチンを用いてスキーマを未学習タスクに一般化する：タスク名の整合性に基づくオブジェクト置換、低関連スコアに基づく手順の削除、低確率トークンのBERTベースの置換。
• 編集済みのスキーマを用いて、短いクエリ語（例：'Bake Fish'）を複数文の記述に拡張し、動画クリップとのマッチングに使用する。
• MIL-NCE または CLIP ベースの特徴量を用い、マッチング関数 F を用いて、長時間の動画全体にわたる短いクリップと拡張されたスキーマを一致させる。
• Howto100M、COIN、YouCook2 データセットで、標準指標（P@1、R@5、R@10、Med r、MRR）を用いて検索性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 動画とテキストから誘導されたスキーマは、未学習タスクのゼロショット動画検索を改善できるか？
• RQ2 言語モデル駆動の編集により、既存のスキーマを一般化することで、最小限のデータで新しいタスクに効果的に適応できるか？
• RQ3 IERの性能は、スキーマを使用しない手法や大規模言語モデル（LLM）が生成するスキーマを使用する手法と比べてどうか？
• RQ4 誘導されたスキーマは、CLIP や MIL-NCE といった異なる動画-テキストマッチングモデル間でどの程度転送可能か？
• RQ5 動画長が延びるに従って、スキーマの恩恵は増大するか？

主な発見

• IERは、スキーマを使用しないベースライン手法と比較して、トップ1検索精度を約10%向上させ、COINでP@1が57.2%に達した。
• IERが編集したスキーマは、GPT-3が生成したスキーマを上回る検索性能を示し、動画から誘導されたスキーマの優位性を裏付けた。
• アブレーションスタディでは、3つの編集モジュール（オブジェクト置換、手順削除、トークン置換）がすべて検索性能を向上させたが、特にHowto-GEN や COIN のようなタスク類似度が低い状況で顕著であった。
• YouCook2 では、Howto100M とタスク類似度が非常に高い（平均0.97）ため、編集モジュールの効果が薄く、タスク間の類似度が低い場合に編集が最も有効であることが示された。
• スキーマはCLIPベースのマッチングにも効果的に転送された。CLIPと組み合わせた場合、COINでのP@1は58.9%から65.0%に向上した。
• 動画長が延びるに従ってスキーマの恩恵が増大し、より多くのクリップとマッチング可能なため、長時間のコンテンツにおいても検索の信頼性が向上した。