[論文レビュー] Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows

Keisuke Shirai, Atsushi Hashimoto+5 more|arXiv (Cornell University)|Sep 13, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文では、レシピ・フローマップ（r-FG）に根ざした画像ペアを用いて調理における物体の状態変化を捉えるマルチモーダルデータセットであるVisual Recipe Flow（VRF）を紹介する。このデータセットにより、アクション固有の視覚的結果の学習が可能となり、アクション動詞と前処理画像を組み合わせた際のマルチモーダル検索において37.01%のRecall@5を達成し、有効性が示された。

ABSTRACT

We present a new multimodal dataset called Visual Recipe Flow, which enables us to learn each cooking action result in a recipe text. The dataset consists of object state changes and the workflow of the recipe text. The state change is represented as an image pair, while the workflow is represented as a recipe flow graph (r-FG). The image pairs are grounded in the r-FG, which provides the cross-modal relation. With our dataset, one can try a range of applications, from multimodal commonsense reasoning and procedural text generation.

研究の動機と目的

• 調理行動の視覚的結果を物体の状態変化を追跡することで予測できる自律的エージェントの実現を目的とする。
• 1文に複数の行動結果を含む場合に、文書レベルの視覚的アノテーションでは捕捉できないという限界を解決することを目的とする。
• レシピワークフローに根ざした、密度の高いアクションレベルの視覚的アノテーションを提供し、マルチモーダル理解の向上を図ることを目的とする。
• 視覚的およびテキストデータを用いたマルチモーダル常識的推論と手順的テキスト生成の応用を支援することを目的とする。
• ビジョン・ランゲージモデルの手順的理解タスクにおける評価を可能にする、高品質なアノテーションを備えたベンチマークデータセットの構築を目的とする。

提案手法

• アクション、材料、道具を特定するため、レシピ名詞エントリ（r-NE）を含むレシピテキストを用いてデータセットを構築する。
• 各ステップの入力・出力状態を示す、アクション間の依存関係を表現するレシピ・フローマップ（r-FG）を構築する。
• 各アクションに対して、物体の前処理状態と後処理状態を表す画像ペアを収集し、r-FGに根拠を与える。
• 人間のアノテーターによる視覚的アノテーションを実施し、アノテーター間的一致性を確認する。
• データセットには3,824枚のユニークな画像、623個のr-NE、616個のレシピフロー、100個のレシピにまたがる1,990件の視覚的状態変化が含まれる。
• マルチモーダル検索の評価に、共同埋め込みモデルを用い、テキストのアクション動詞と視覚的前処理状態を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 画像ペアを用いて、調理ワークフローに根ざした視覚的状態変化を効果的に捉え、根拠づけることができるか？
• RQ2 ビジョン・ランゲージモデルは、視覚的およびテキスト的入力をどのように活用して、後処理状態の物体の状態を予測できるか？
• RQ3 視覚的アノテーションは、テキストのみまたは画像のみのベースラインと比較して、マルチモーダル検索性能をどの程度向上させるか？
• RQ4 異なるアノテーター間で、人間が行う視覚的状態変化のアノテーションは、どれほど一貫性があり信頼性があるか？
• RQ5 r-FG構造は、手順的テキスト生成および推論の整合性と一貫性を向上させることができるか？

主な発見

• レシピ名詞エントリ（r-NE）のアノテーター間一致度はF-measure 98.40に達し、ほぼ完全な一貫性を示した。
• r-FGアノテーションはF-measure 86.11を達成し、依存関係モデリングの複雑さにもかかわらず高い信頼性を示した。
• 視覚的アノテーションの一致度はF-measure 72.80であったが、事前のアノテーション誤りに敏感であることを考慮すると、これは強く評価できる水準であった。
• 共同埋め込みモデルは、アクション動詞と前処理画像を組み合わせた際、37.01%のRecall@5を達成し、テキストのみ（2.37%）および画像のみ（21.24%）のベースラインを上回った。
• 組み合わせモダリティ入力では中央順位（MedR）が10.40に低下し、検索の精度が向上した。
• 結果から、視覚モダリティは、後処理の視覚的状態を予測するうえで、重要で補完的な情報を提供することが確認された。