[論文レビュー] RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes

Semih Yagcioglu, Aykut Erdem+2 more|arXiv (Cornell University)|Sep 4, 2018

Topic Modeling参考文献 35被引用数 10

ひとこと要約

RecipeQAは、20,000件の調理レシピとそれらに一致する画像、36,786組の質問・回答ペアを備えた大規模かつマルチモーダルなデータセットを提供し、調理レシピの手順文の機械理解をベンチマーク化することを目的としています。本データセットは、複数ステップにわたるテキストと画像の共同理解に注力しており、時間的流れや手順的知識に関する推論を要するため、マルチモーダル推論システムにとって挑戦的なベンチマークです。

ABSTRACT

Understanding and reasoning about cooking recipes is a fruitful research direction towards enabling machines to interpret procedural text. In this work, we introduce RecipeQA, a dataset for multimodal comprehension of cooking recipes. It comprises of approximately 20K instructional recipes with multiple modalities such as titles, descriptions and aligned set of images. With over 36K automatically generated question-answer pairs, we design a set of comprehension and reasoning tasks that require joint understanding of images and text, capturing the temporal flow of events and making sense of procedural knowledge. Our preliminary results indicate that RecipeQA will serve as a challenging test bed and an ideal benchmark for evaluating machine comprehension systems. The data and leaderboard are available at http://hucvl.github.io/recipeqa.

研究の動機と目的

• 現実的で制約のない環境を想定した手順的理解に焦点を当てた大規模かつマルチモーダルなデータセットの不足を補うこと。
• 特に調理レシピを対象として、ステップバイステップの指示におけるテキストと画像の共同理解を促進すること。
• 時間的ステップと指示コンテンツにおけるマルチモーダル整合性の両方を評価するベンチマークを提供すること。
• 行動の順序や材料の変化といった手順的知識に関する推論が可能なモデルの開発を支援すること。
• リーダーボードを備えた公開リソースを提供し、マルチモーダル機械理解分野における進展を促進すること。

提案手法

• 制約のない環境でユーザーが撮影した自然な画像を含む、約20,000件の実世界の調理レシピを収集する。
• 各レシピのステップごとに1枚以上の対応する画像を割り当て、細粒度の高いモダリティ整合性を確保する。
• レシピのテキストおよび画像の内容に基づいた自動テンプレートを用いて、36,000組を超える質問・回答ペアを生成する。
• テキストクローズ、ビジュアルクローズ、スパン選択、複数選択の4種類の異なる質問スタイルを設計し、それぞれが特定の理解スキルをターゲットとする。
• ルールベースとNLP技術の組み合わせを用いて、テキストと画像の両モダリティにまたがる推論を要する質問を生成する。
• http://hucvl.github.io/recipeqa にて公開リーダーボードとデータセットを提供し、再現可能な評価とモデル開発を促進する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルモデルは、テキストと画像の両方を用いて、調理レシピにおける行動の時間的流れを効果的に理解し、推論できるか？
• RQ2 画像が関与する際、既存のモデルはステップバイステップの手順的指示の共同理解においてどの程度の性能を示すか？
• RQ3 レシピQAでは、語彙的オーバーラップや表面的ヒントに依存するモデルが、人間の推論と比較してどの程度失敗するか？
• RQ4 調理レシピの複数ステップにわたるマルチモーダル入力（テキストと画像）を整列付ける際の主な課題は何か？
• RQ5 制約のない環境で生成された自然なユーザー撮影画像を用いることで、合成画像や図解的画像と比較してモデルの一般化性能にどのような影響を与えるか？

主な発見

• RecipeQAは、自然な画像と複数ステップを含む調理レシピにおける手順的知識のマルチモーダル理解に特化した最初のデータセットである。
• 平均して1レシピに12枚の画像が含まれており、TQA（1質問あたり3.5枚）と比較して、マルチモーダル整合性の複雑さが顕著に向上している。
• ベースラインモデルは人間の性能と顕著な差を示しており、本データセットの挑戦性が裏付けられている。
• 本データセットは、語彙マッチングをはるかに超える推論を要するテキストクローズやビジュアルクローズを含む多様な質問タイプをサポートしている。
• 現実的でユーザーが撮影した画像の導入によりドメインシフトと視覚的ばらつきが生じ、合成または図解的データセットと比較して一般化が難しくなっている。
• 本データセットは公開されておりリーダーボードを備えているため、マルチモーダル推論分野における継続的なベンチマークとモデル評価が可能である。