[論文レビュー] Bridge-Prompt: Towards Ordinal Action Understanding in Instructional Videos

Muheng Li, Lei Chen+5 more|arXiv (Cornell University)|Mar 26, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

Bridge-Prompt は、順序付きの行動間の意味的関係を、個々の行動の意味とその順序を統合したテキストプロンプトを用いてモデル化するプロンプトベースのフレームワークを提案する。これらの構造化されたプロンプト上で視覚とテキストのエンコーダーを対照的学習により共同訓練することで、GTEA や 50Salads、Breakfast といったアクションセグメンテーションおよび認識ベンチマークで最先端の性能を達成し、文脈理解の向上とゼロショット転送性の向上を示している。

ABSTRACT

Action recognition models have shown a promising capability to classify human actions in short video clips. In a real scenario, multiple correlated human actions commonly occur in particular orders, forming semantically meaningful human activities. Conventional action recognition approaches focus on analyzing single actions. However, they fail to fully reason about the contextual relations between adjacent actions, which provide potential temporal logic for understanding long videos. In this paper, we propose a prompt-based framework, Bridge-Prompt (Br-Prompt), to model the semantics across adjacent actions, so that it simultaneously exploits both out-of-context and contextual information from a series of ordinal actions in instructional videos. More specifically, we reformulate the individual action labels as integrated text prompts for supervision, which bridge the gap between individual action semantics. The generated text prompts are paired with corresponding video clips, and together co-train the text encoder and the video encoder via a contrastive approach. The learned vision encoder has a stronger capability for ordinal-action-related downstream tasks, e.g. action segmentation and human activity recognition. We evaluate the performances of our approach on several video datasets: Georgia Tech Egocentric Activities (GTEA), 50Salads, and the Breakfast dataset. Br-Prompt achieves state-of-the-art on multiple benchmarks. Code is available at https://github.com/ttlmh/Bridge-Prompt

研究の動機と目的

• 長時間の指示動画における隣接する行動間の文脈的関係を捉えられていない従来のアクション認識モデルの限界を解消すること。
• 自然言語が時間的順序と関係的意味を表現できる能力を活用して、順序付き行動シーケンスの意味をモデル化すること。
• 視覚とテキストのエンコーダーを共同で訓練することで、文脈外および文脈内両方の行動情報を利用できるプロンプトベースの学習フレームワークを開発すること。
• 指示動画分析におけるアクションセグメンテーションや長期的ヒューマンアクティビティ認識といった下流タスクのパフォーマンスを向上させること。
• 事前学習された言語モデルの一般化能力を活用して、類似アクティビティ間でのゼロショット転送性を実現すること。

提案手法

• 行動シーケンスのための統一的で構造化されたテキスト監視を実現する、3プラス1段階のテキストプロンプト構造を設計する。この構造は統計的、順序的、意味的情報を統合する。
• 共同学習中に、ビデオ特徴と対応するテキストプロンプトをクロスアテンションで一致させるビデオ・テキスト統合モジュールを構築する。
• ビデオとプロンプト表現の意味的・順序的整合性に基づいて、対照的学習の目的関数を用いて視覚とテキストのエンコーダーをエンドツーエンドで訓練する。
• 正確性とロバスト性の両方を最適化するため、3つの損失成分（意味的損失 $\mathcal{L}_{\text{sem}}$、統合的意味損失 $\mathcal{L}_{\text{integ}}$、統計的損失 $\mathcal{L}_{\text{stat}}$）を統合して最適化する。
• 大規模な事前学習の恩恵を受けるために、視覚と言語のエンコーダーとして事前学習済みモデル（例：ViT と BERT）を採用し、有効な少データ・ゼロショット一般化を可能にする。
• プロンプト工学を用いて、再トレーニングを必要とせず、テキストプロンプトの変更のみで未学習の行動タイプに対するゼロショット推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 構造化されたテキストプロンプトは、指示動画における隣接する行動間の意味的および順序的関係を効果的にモデル化できるか？
• RQ2 プロンプトに順序的および文脈的意味を統合することで、単一行動分類を越えてアクション認識およびセグメンテーションの性能がどのように向上するか？
• RQ3 Bridge-Prompt フレームワークは、プロンプトベースのゼロショット転送により、未学習の行動タイプや類似アクティビティにどの程度一般化できるか？
• RQ4 意味的損失、統合的意味損失、統計的損失といった異なる損失成分が、フレームワーク全体のパフォーマンスに果たす寄与度は何か？
• RQ5 グラフベースおよびクラスIDベースの手法と比較して、Bridge-Prompt はスケーラビリティ、一般化能力、ベンチマークデータセット上でのパフォーマンスにおいてどのように差をつけるか？

主な発見

• Bridge-Prompt は GTEA データセットで最先端のパフォーマンスを達成し、F1@50 スコアが 91.0、エディットスコアが 89.6 であり、先行手法を上回っている。
• アブレーションスタディの結果、意味的損失、統合的意味損失、統計的損失という3つの損失成分すべてがパフォーマンス向上に寄与しており、すべての損失を組み合わせた完全な損失設定が最も優れた結果をもたらしていることが確認された。
• フレームワークは強力なゼロショット転送性を示している。例えば、コーヒー作りから紅茶作りへの知識転送では、GTEA でトップ1正解率が 41.7%、トップ5正解率が 81.3% を達成した。
• 図1 に示すように、従来のクラスIDベースのアプローチに比べ、Bridge-Prompt は文脈的行動関係を効果的にモデル化できており、個々のラベルでは捉えきれない相互作用の意味を捉えている。
• 自然言語プロンプトの使用により、未学習の行動タイプへの一般化が効果的に可能である。一方、新しい行動に対して手動での再ラベル付けが必要な剛性のあるクラスIDシステムとは対照的である。
• 注意深く設計されたプロンプトを用いた対照的学習戦略により、視覚エンコーダーはより豊かで文脈に即した表現を学習でき、複数のベンチマークで下流タスクのパフォーマンスが向上した。