[論文レビュー] Towards Automatic Learning of Procedures from Web Instructional Videos

Luowei Zhou, Chenliang Xu+1 more|arXiv (Cornell University)|Mar 28, 2017

Multimodal Machine Learning Applications被引用数 222

ひとこと要約

本論文は unconstrained な長尺動画に対する手順セグメンテーションを定義し、YouCook2 データセットを導入し、ProcNets というセグメントレベルの再帰モデルを提案する。長い instructional videos をカテゴリに依存しない手順ステップへセグメント化する際、ベースラインを上回る。

ABSTRACT

The potential for agents, whether embodied or software, to learn by observing other agents performing procedures involving objects and actions is rich. Current research on automatic procedure learning heavily relies on action labels or video subtitles, even during the evaluation phase, which makes them infeasible in real-world scenarios. This leads to our question: can the human-consensus structure of a procedure be learned from a large set of long, unconstrained videos (e.g., instructional videos from YouTube) with only visual evidence? To answer this question, we introduce the problem of procedure segmentation--to segment a video procedure into category-independent procedure segments. Given that no large-scale dataset is available for this problem, we collect a large-scale procedure segmentation dataset with procedure segments temporally localized and described; we use cooking videos and name the dataset YouCook2. We propose a segment-level recurrent network for generating procedure segments by modeling the dependencies across segments. The generated segments can be used as pre-processing for other tasks, such as dense video captioning and event parsing. We show in our experiments that the proposed model outperforms competitive baselines in procedure segmentation.

研究の動機と目的

• 長尺で制約のない instructional videos（例：YouTube）から人間の合意に基づく手順構造を学習する動機づけ。
• 手順セグメンテーション問題を定義し、動画をカテゴリ依存性のないセグメントへ分割する取り組み。
• 手順セグメンテーションを研究するための大規模で豊富な注釈付きデータセットを作成する（YouCook2）。
• エンドツーエンドのモデル（ProcNets）を開発し、セグメント提案を局所化し、セグメントレベルの時系列依存性を学習する。
• セグメントレベルのモデリングがフレームレベルのベースラインや字幕なしのベースラインを上回ることを示す。

提案手法

• ResNet の特徴量に基づく文脈対応型フレーム表現を Bi-LSTM によって生成し、文脈対応型のフレーム表現を得る。
• K 個のアンカーを用いたアンカーベースの提案モジュールを提案し、開始/終了オフセットを持つ候補の手順セグメントを生成し、二値分類とオフセット回帰で学習する。
• 提案ベクトル、Location Embedding、Segment Content を入力として取り入れ、セグメントレベルの依存性をモデル化する逐次予測モジュール（LSTM）を用いて最終的な手順セグメント列を選択・出力する。
• 損失関数は L = L_cla + alpha_r L_reg + alpha_s L_seq として学習する。ここで L_cla は手続き性の二値クロスエントロピー、L_reg はオフセットの平滑 L1、L_seq は逐次予測のクロスエントロピー。
• ビームサーチを用いた推論で、固定数のセグメントを前提とせず、一貫した手順セグメント列を出力する。

実験結果

リサーチクエスチョン

• RQ1 長尺で制約のない動画から視覚的 evidence のみで人間の合意構造を学習できるか。
• RQ2 セグメントレベルの逐次モデルは、フレームレベルのアプローチや非逐次提案よりも長距離の手順ステップ依存性を捉えられるか。
• RQ3 大規模で豊富な注釈付きデータセットは、カテゴリ依存性のない手順セグメーションの堅牢な学習と評価を可能にするか。
• RQ4 手順セグメンテーションの出力は、密集キャプション生成や instructional videos のイベント解析などの下流タスクを改善できるか。

主な発見

• ProcNets は Jaccard および mIoU 指標で競合ベースラインより有意に優れている（検証およびテスト）。
• ProcNets-LSTM は最高スコアを達成：検証 Jaccard 51.5、検証 mIoU 37.5、テスト Jaccard 50.6、テスト mIoU 37.0。
• ProcNets-NMS は単独の非最大抑制に依存するベースラインを上回り、セグメントの局在化が強力。
• Location Embedding は手順構造学習にとって最も重要な要素であり、除去時に顕著な低下が見られる。
• モデルは動画ごとのセグメント数を適応させ、注釈されていなくても意味的に有意なセグメントを含む手順構造を質的に理解できることを示す。
• YouCook2 データセットは 2000 本の動画と 89 レシピに対する時間的手順注釈と命令文を提供し、堅牢な評価を可能にする。