[論文レビュー] Procedure Planning in Instructional Videos

Chien-Yi Chang, De-An Huang+4 more|arXiv (Cornell University)|Jul 2, 2019

Multimodal Machine Learning Applications参考文献 43被引用数 10

ひとこと要約

本稿では、状態と行動の共役関係を活用することで、非構造的な指導動画から構造的で計画可能な潜在表現を学習するフレームワークであるデュアルダイナミクスネットワーク（DDN）を提案する。DDNは、手順計画およびウォークスルー計画において既存手法を上回り、行動順序および中間状態の予測において優れた汎化性能と正確性を示している。

ABSTRACT

In this paper, we study the problem of procedure planning in instructional videos, which can be seen as a step towards enabling autonomous agents to plan for complex tasks in everyday settings such as cooking. Given the current visual observation of the world and a visual goal, we ask the question "What actions need to be taken in order to achieve the goal?". The key technical challenge is to learn structured and plannable state and action spaces directly from unstructured videos. We address this challenge by proposing Dual Dynamics Networks (DDN), a framework that explicitly leverages the structured priors imposed by the conjugate relationships between states and actions in a learned plannable latent space. We evaluate our method on real-world instructional videos. Our experiments show that DDN learns plannable representations that lead to better planning performance compared to existing planning approaches and neural network policies.

研究の動機と目的

• キッチンのような視覚的に複雑な現実世界の環境で、長時間にわたるゴール条件付き計画を自律エージェントが行えるようにすること。
• 事前に定義された記号的ドメインがなく、非構造的な指導動画から直接、構造的で計画可能な状態空間および行動空間を学ぶ課題に対処すること。
• 学習された潜在空間における状態と行動の共役関係を明示的にモデル化することで、計画性能を向上させること。
• 実世界の動画データを用いて、手順計画および関連タスク（ウォークスルー計画）の両方で手法を評価すること。
• 開始観測およびゴール観測の未知の変種へも汎化できることを示すこと。

提案手法

• DDNは、行動を与えられたときの状態遷移を予測する前方ダイナミクスモデルと、状態と行動表現の整合性を強制する共役ダイナミクスモデルの2つのモジュールを共同で学習する。
• 状態は行動の履歴を表し、行動は現在の状態に条件付けられる、分離された潜在空間を学習し、共役制約を通じて構造的事前知識を埋め込む。
• 再構成損失、対照的損失、および新しい共役整合性損失の組み合わせを用いてモデルを訓練し、行動がその後続状態の妥当な前提条件であることを保証する。
• 事前学習済みの動画エンコーダからの視覚特徴を用い、潜在空間内で行動順序および中間状態表現を予測する。
• ハミング距離およびペアワイズ正確度などの指標を用いて、実世界の動画データ上で手順計画（開始フレームからゴールフレームへの遷移）およびウォークスルー計画（動画クリップの順序付け）の両方で評価する。
• 手動でアノテートされた記号的行動予測子や行動ラベルが一切不要な状態で、非構造的な指導動画に対してエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、事前に定義された記号的行動空間がなく、非構造的で視覚的に豊かな指導動画から、複雑で長時間にわたるタスクの計画を学習できるか？
• RQ2 状態と行動の間の共役関係をどのように活用することで、学習された潜在表現の構造性と計画可能性を向上させられるか？
• RQ3 状態と行動のダイナミクスを同時に学習することは、それらを独立に学習するのと比べて、より優れた計画性能をもたらすか？
• RQ4 学習された表現は、開始およびゴール観測の未知の変種へも汎化可能か？
• RQ5 本フレームワークは、動画クリップの順序を再構成することを目的とするウォークスルー計画などの関連タスクへも転送可能か？

主な発見

• DDNは、すべてのベースラインを上回り、テストセットにおいて最高のペアワイズ正確度と最小のハミング距離を達成した。
• アブレーションスタディの結果、共役ダイナミクス部を除いたバージョン（Ours w/o T）では性能が低下し、潜在空間における構造的事前知識の重要性が確認された。
• 驚くべきことに、ポリシーヘッドを除いたバージョン（Ours w/o P）は、ダイナミクスヘッドを除いたバージョン（Ours w/o T）よりもウォークスルー計画で優れた性能を示し、順序付けタスクにおいて状態遷移モデルの重要性が示された。
• 可視化結果から、DDNは正しい順序で中間状態のシーケンスを正しく予測しているのに対し、ベースラインは複雑な手順における道具の取得といった重要なステップを捉えていないことが確認された。
• モデルは、開始フレームおよびゴールフレームの未知の変種に対しても良好に汎化しており、現実世界の動画における視覚的・意味的多様性に対しても頑健であることが示された。
• DDNはウォークスルー計画へも成功裏に転送され、Visual Ordering や Causal InfoGAN などの手法を上回ったが、これは手順計画データでのみ学習されたにもかかわらずである。