[論文レビュー] A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos

Frank F. Xu, Lei Ji+5 more|arXiv (Cornell University)|May 2, 2020

Multimodal Machine Learning Applications参考文献 55被引用数 4

ひとこと要約

本論文は、調理動画からの構造的手順的知識抽出のベンチマークを紹介しており、モデルがマルチモーダル入力（動画とノイジーサンプルのトランスクリプト）から動詞＋目的語タプルを生成する必要がある。アクション検出および意味的役割ラベリングの最先端モデルを用いても、性能は依然として低く、コアフレンス、省略、音声認識エラーを伴う現実世界の手順にアクションを正しく対応付ける課題が浮き彫りになる。

ABSTRACT

Watching instructional videos are often used to learn about procedures. Video captioning is one way of automatically collecting such knowledge. However, it provides only an indirect, overall evaluation of multimodal models with no finer-grained quantitative measure of what they have learned. We propose instead, a benchmark of structured procedural knowledge extracted from cooking videos. This work is complementary to existing tasks, but requires models to produce interpretable structured knowledge in the form of verb-argument tuples. Our manually annotated open-vocabulary resource includes 356 instructional cooking videos and 15,523 video clip/sentence-level annotations. Our analysis shows that the proposed task is challenging and standard modeling approaches like unsupervised segmentation, semantic role labeling, and visual action detection perform poorly when forced to predict every action of a procedure in a structured form.

研究の動機と目的

• マルチモーダル説明動画向けの大規模でオープンボキャブラリーな構造的手順的知識ベンチマークの不足に対処すること。
• 動画とトランスクリプトから手順的ステップを動詞＋目的語タプルとして抽出するモデルの細分化評価を可能にするデータセットを作成すること。
• 動詞の省略、音声認識エラー、視覚的言語的コアフレンスといった、手順的知識抽出における主な課題を同定すること。
• トランスクリプトがノイジーまたは不完全な場合に、現在のモデルが複数モodalに跨るアクションをどのように正しく対応付けるかの限界を評価すること。

提案手法

• 356本の調理動画を含み、15,523件の文単位のアノテーションを持つデータセットであり、動画クリップに根拠を持つ手順的タプル（動詞、目的語）を手作業でラベル付けした。
• パイプラインアプローチを採用：まずマルチモーダルセグメンテーションを用いて重要な動画クリップと文を特定し、次に意味的役割ラベリングと視覚的アクション認識を用いてタプルを抽出する。
• トランスクリプトに最先端の意味的役割ラベリングモデルを適用し、動詞＋目的語構造を抽出する。
• キッチン動画で訓練された視覚的アクション検出モデルを用いてアクションとオブジェクトを検出し、それらをテキスト予測とアライメントする。
• モデルの性能は、空の目的語やコアフレンスを含む完全な手順的タプルを予測できるかで評価される。
• 教師ありおよび教師なしのセグメンテーションベースラインをベンチマークに含め、異なるレベルの教師信号における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 現在のモデルは、ノイジーサンプルのトランスクリプトを伴うマルチモーダル調理動画から、構造的手順的知識（動詞＋目的語タプル）をどれほど効果的に抽出できるか。
• RQ2 手順的知識抽出における主な失敗モードは何か。特に動詞の省略や音声認識エラーに関して。
• RQ3 視覚的信号と言語的信号を同時にモデル化する必要はどの程度あるか。動画内のアクションを正確に対応付けるために。
• RQ4 コアフレンスと暗黙の目的語は、現在のベースラインにおけるモデル性能にどのように影響するか。
• RQ5 弱教師付きで説明動画から学習したマルチモーダルモデルは、オープンボキャブラリーな手順的知識抽出に一般化できるか。

主な発見

• 意味的役割ラベリングおよび視覚的アクション検出の標準モデルは、構造化形式で全手順を予測せよと要求された場合、性能が著しく低いことが判明し、このタスクが極めて困難であることが示された。
• 動詞の省略が大きな問題である：文脈に即した動詞選択が不十分なため、モデルは「flip」の代わりに「give」を誤って選択するなど、主な動詞を誤認することが多い。
• 音声認識エラーが性能を著しく低下させる。例えば「flour」と「flower」や「sriracha」と「sarrah cha」の誤認識が、誤った目的語抽出を引き起こす。
• コアフレンスと暗黙の目的語は現在のベースラインで解決されておらず、視覚的言語的共参照を明示的にモデル化していない。
• 提案されたベンチマークにより、現在のモデルがノイズを含む多様な現実世界の動画トランスクリプトに対して一般化できないことが明らかになった。これにより、より良いクロスモーダル対応付けの必要性が浮き彫りになった。
• 最先端のコンponentを用いても性能は最適にほど遠く、視覚と言語の共同モデリングが、強固な手順的知識抽出に不可欠であることが示された。