[論文レビュー] P3IV: Probabilistic Procedure Planning from Instructional Videos with Weak Supervision

He Zhao, Isma Hadji+4 more|arXiv (Cornell University)|May 4, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、高価な時間的動画アノテーションの代わりに事前学習済みのテキスト-動画埋め込みを用いた言語による監視によって、弱教師ありで確率的な手順計画フレームワークP3IVを提案する。単一ブランチのトランスフォーマーにメモリモジュールと確率的生成モジュールを組み合わせ、並列に多様で高品質なアクションシーケンスを生成し、不確実性を効果的にモデル化することで、複数の指標において完全教師ありの最先端モデルを上回る性能を達成した。

ABSTRACT

In this paper, we study the problem of procedure planning in instructional videos. Here, an agent must produce a plausible sequence of actions that can transform the environment from a given start to a desired goal state. When learning procedure planning from instructional videos, most recent work leverages intermediate visual observations as supervision, which requires expensive annotation efforts to localize precisely all the instructional steps in training videos. In contrast, we remove the need for expensive temporal video annotations and propose a weakly supervised approach by learning from natural language instructions. Our model is based on a transformer equipped with a memory module, which maps the start and goal observations to a sequence of plausible actions. Furthermore, we augment our model with a probabilistic generative module to capture the uncertainty inherent to procedure planning, an aspect largely overlooked by previous work. We evaluate our model on three datasets and show our weaklysupervised approach outperforms previous fully supervised state-of-the-art models on multiple metrics.

研究の動機と目的

• 指導動画からの教師あり手順計画における高コストなアノテーションの課題に対処すること。
• 中間ステップの時間的動画アノテーションに依存するのを減らすために、自然言語の指示を弱教師あり監視として活用すること。
• 確率的生成モジュールを用いて不確実性をモデル化し、複数の妥当な計画を捉えること。
• 非自己回帰的かつ単一ブランチのトランスフォーマー構造を用いて、すべてのステップを同時に生成することで計画性能を向上させること。
• KLダイバージェンス、NLL、ModeRec、ModePrecなどの指標を用いて予測された計画の品質と多様性を評価すること。

提案手法

• モデルは、開始およびゴールの視覚的観測を、アクションのシーケンスにマッピングするためのトランスフォーマーに基づくデコーダに、メモリモジュールを組み合わせる。
• 中間の視覚的アノテーションに代えて、指導ステップの事前学習済みテキスト-動画埋め込みを用いて言語による監視を実施する。
• 不確実性をモデル化し、複数の妥当な計画を捉えるために、K=1500個のアクションシーケンスを確率的生成モジュールがサンプリングする。
• モデルは視覚的および言語的表現のペアに対してコントラスト学習を用いて訓練され、計画の品質はKLダイバージェンスとNLLで評価される。
• サンプルの多様性を測るためにコサイン距離が用いられ、計画の多様性とカバレッジはModeRecとModePrecで評価される。
• 1ショット推論機構を用い、中間アクションを自己回帰的に生成するのではなく、同時にすべてを生成する。

実験結果

リサーチクエスチョン

• RQ1 指導動画の中間ステップの高価な時間的アノテーションを一切必要とせずに、最先端の手順計画性能を達成できるか？
• RQ2 事前学習済みテキスト-動画埋め込みを弱教師あり監視として活用することで、強力な視覚的監視よりも一般化性能と計画品質が向上するか？
• RQ3 非自己回帰的かつ単一ブランチのトランスフォーマーは、並列に多様で正確なアクションシーケンスを効果的に生成できるか？
• RQ4 確率的サンプリングによる不確実性のモデル化は、決定論的計画と比較して計画の多様性とカバレッジをどのように向上させるか？
• RQ5 KLダイバージェンス、NLL、ModeRec、ModePrecといった指標は、予測された計画の品質と分布の整合性を効果的に評価できるか？

主な発見

• 確率的アプローチは、T=3におけるKLダイバージェンス（2.11 vs. 2.31）とNLL（4.89 vs. 5.13）が決定論的バージョンよりも低く、真値計画分布との整合性が優れていることを示している。
• 確率的モデルはT=3におけるModeRecを9.89%、ModePrecを9.00%向上させ、真値モードのカバレッジと正確性が向上していることを示している。
• T=3におけるサンプル間のコサイン距離は0.384であり、生成された計画の多様性が高く、決定論的モデルでは達成できないことを示している。
• 弱教師ありの言語監視のみを用いても、完全教師ありの最先端手法を複数の指標で上回っていることから、本手法の有効性が裏付けられている。
• 不確実性を確率的サンプリングでモデル化することで、複数の妥当なアクションシーケンスが存在する状況において、より強固で現実的な計画が可能になることが確認された。
• 事前学習済みテキスト-動画埋め込みを監視として活用することで、アノテーションコストを大幅に削減しながら、性能を維持または向上させることができた。