[論文レビュー] Keyframing the Future: Keyframe Discovery for Visual Prediction and Planning

Karl Pertsch, Oleh Rybkin+6 more|arXiv (Cornell University)|Apr 11, 2019

Artificial Intelligence in Games参考文献 34被引用数 5

ひとこと要約

この論文では、ビデオシーケンスから情報量の多いキーフレームを発見し、インpaintingを用いて完全なシーケンスを再構築する微分可能で階層的なモデル、KeyInを提案する。キーフレーム選択とフレーム生成を同時に学習することで、長時間スパンの視覚的計画が効率的に行え、ロボットの押しつぶしやエゴセントリック・グリッドワールドといった複雑なダイナミクスを有するデータセットにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

Temporal observations such as videos contain essential information about the dynamics of the underlying scene, but they are often interleaved with inessential, predictable details. One way of dealing with this problem is by focusing on the most informative moments in a sequence. We propose a model that learns to discover these important events and the times when they occur and uses them to represent the full sequence. We do so using a hierarchical Keyframe-Inpainter (KeyIn) model that first generates a video's keyframes and then inpaints the rest by generating the frames at the intervening times. We propose a fully differentiable formulation to efficiently learn this procedure. We show that KeyIn finds informative keyframes in several datasets with different dynamics and visual properties. KeyIn outperforms other recent hierarchical predictive models for planning. For more details, please see the project website at \url{https://sites.google.com/view/keyin}.

研究の動機と目的

• フレーム単位のビデオ予測の非効率性を是正するため、時間的に疎らで情報量の多いキーフレームを特定し、その本質的なダイナミクスを捉えること。
• キーフレームを部分目標として用いることで視覚的計画を階層化し、長時間スパンの制御タスクにおける計算コストを低減すること。
• キーフレーム発見とシーケンス再構築を同時に最適化する完全に微分可能なフレームワークの開発。
• ロボットの操作や多様な視覚的ダイナミクスに耐性があり、一般化性能に優れたノイズ耐性を示すこと。
• 長時間スパンのタスクにおける計画性能において、既存の階層的および非階層的予測モデルを上回ること。

提案手法

• KeyInはキーフレームエンコーダーとビデオインペイント機構を備えた階層的アーキテクチャを採用し、選択されたキーフレームから完全なシーケンスを再構築する。
• キーフレーム選択をエンドツーエンドで学習可能とする、ソフトで微分可能な目的関数を採用し、時間的配置の勾配ベース最適化を可能にする。
• 候補フレーム上での微分可能なソフトアテンション機構としてのキーフレーム選択を定式化し、離散的決定における勾配伝搬を可能にする。
• インペイントヘッドは、予測されたキーフレームを条件として、トランスフォーマー基盤または畳み込み型アーキテクチャを用いて中間フレームを生成する。
• 再構築損失（PSNR/SSIM）を最小化するとともに、キーフレームが時間的に疎らでありながらも情報量が多いように、共同学習目的関数を設計する。
• 階層的計画アルゴリズムは、予測されたキーフレームを部分目標として用い、長時間スパンのタスクにおける低レベル制御を誘導する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なモデルは、時間的に疎らで情報量の多いキーフレームを、ビデオシーケンスの本質的ダイナミクスを捉える形で発見できるか？
• RQ2 フレーム単位または固定間隔の予測と比較して、キーフレームベースの予測は長時間スパンの視覚的計画を改善するか？
• RQ3 異なるデータセットにおけるダイナミクスの変動やノイズに対して、キーフレーム発見はどれほど耐性があるか？
• RQ4 ロボットの押しつぶしやエゴセントリックナビゲーションなど、複雑な現実世界のダイナミクスにも一般化可能か？
• RQ5 KeyInが学習する階層的構造は、非階層的ベースラインと比較して、より効率的かつ正確な計画を可能にするか？

主な発見

• ロボットの押しつぶし環境において、KeyInは長時間スパンの視覚的計画において最先端の性能を達成し、階層的および非階層的ベースラインを上回った。
• Pushingデータセットでは、ガウスノイズ下でF1スコア0.25を達成し、真値とのキーフレーム距離が1.34フレーム以内に収まり、検出の耐性が確認された。
• Gridworldデータセットでは、ノイズ下でF1スコア0.43を維持し、真値からのキーフレーム整合性が0.96フレーム以内であった。
• KeyInはビデオ予測指標において、先行モデルと同等またはそれを上回った：PushingデータセットではPSNR 33.4、SSIM 0.959を達成した。
• 一定間隔法と比較して、キーフレームの品質が顕著に向上：PushingデータセットではPSNR 29.5 vs. 28.25、SSIM 0.911 vs. 0.904を記録した。
• 定性的な結果では、KeyInは運動方向の変化を正しく特定し、複雑なダイナミクスを再構築できる一方、一定間隔法はこのような遷移を捉えられていない。