[論文レビュー] Learning Structural Representations for Recipe Generation and Food Retrieval

Hao Wang, Guosheng Lin+2 more|arXiv (Cornell University)|Oct 4, 2021

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、長大な料理レシピの文レベルの木構造を教師なしで学習する手法を提案し、レシピ生成および食品マルチモーダル検索の性能を向上させることを目的としている。ON-LSTMをQuick Thoughtsに拡張して教師なしの木構造ラベル付けを実施し、グラフ自己注意力ネットワーク（GAT）を統合してこれらの構造を符号化することで、Recipe1Mベンチマーク上での一貫性と性能が向上し、両タスクで最先端の結果を達成した。

ABSTRACT

Food is significant to human daily life. In this paper, we are interested in learning structural representations for lengthy recipes, that can benefit the recipe generation and food cross-modal retrieval tasks. Different from the common vision-language data, here the food images contain mixed ingredients and target recipes are lengthy paragraphs, where we do not have annotations on structure information. To address the above limitations, we propose a novel method to unsupervisedly learn the sentence-level tree structures for the cooking recipes. Our approach brings together several novel ideas in a systematic framework: (1) exploiting an unsupervised learning approach to obtain the sentence-level tree structure labels before training; (2) generating trees of target recipes from images with the supervision of tree structure labels learned from (1); and (3) integrating the learned tree structures into the recipe generation and food cross-modal retrieval procedure. Our proposed model can produce good-quality sentence-level tree structures and coherent recipes. We achieve the state-of-the-art recipe generation and food cross-modal retrieval performance on the benchmark Recipe1M dataset.

研究の動機と目的

• 料理画像・テキストデータセットに構造的アノテーションが不足している問題に対処する。レシピは長文であり、材料が混在しているため、従来のビジョン・ランゲージ手法の有効性が低下する。
• 手動による構造的アノテーションを必要とせず、教師なしでレシピの文レベルの木構造を学習すること。
• 生成された木構造をテキスト生成の段階で構造的ガイダンスとして統合することで、レシピ生成の質を向上させること。
• 木構造表現をレシピ特徴に統合することで、画像とのマッチングを向上させ、食品マルチモーダル検索の性能を向上させること。
• 教師なしの構造的学習が、レシピ生成およびマルチモーダル検索の両タスクにおいて性能向上をもたらすことを示すこと。

提案手法

• 教師なしでレシピテキストから文レベルの木構造を生成可能な、拡張されたON-LSTMアーキテクチャに基づく新規なrecipe2treeモジュールを提案する。
• ON-LSTMの変種を事前学習するためにQuick Thoughtsの学習目的を用い、教師なしで階層的な文構造を学習可能にする。
• 画像からレシピの木構造を予測するimg2treeモジュールを備えた、構造に配慮した生成ネットワーク（SGN）を設計する。
• 予測された木構造をコンテキスト埋め込みに符号化するために、グラフ自己注意力ネットワーク（GAT）を用いる。この埋め込みは生成および検索の両方で利用可能である。
• 木構造埋め込みをレシピ生成のデコーダーに統合し、一貫性のある長文レシピ生成をガイドする。
• 画像とレシピのマッチングを向上させるために、木構造特徴を元のレシピ埋め込みと統合して、マルチモーダル検索を強化する。

実験結果

リサーチクエスチョン

• RQ1 文レベルの木構造の教師なし学習は、生成されたレシピの一貫性と質を向上させることができるか？
• RQ2 レシピから導出された構造的表現は、食品画像と長文調理手順の間のマルチモーダル検索性能を向上させることができるか？
• RQ3 真の構造的アノテーションが存在しない状況において、提案された教師なし木構造学習手法はどの程度有効か？
• RQ4 ベースラインモデルと比較して、木構造埋め込みは生成および検索の両方でどの程度性能を向上させるか？
• RQ5 モデルは多様な食品分類に一般化可能であり、画像入力から構造的に一貫性のあるレシピを生成できるか？

主な発見

• 提案されたSGNモデルは、Recipe1Mベンチマークにおいて自動評価および人的評価の両指標で、既存手法を上回る最先端のパフォーマンスを達成した。
• 木構造埋め込みの統合により、マルチモーダル検索の精度が顕著に向上し、トップ10リCALLおよびmAPスコアが従来のベースラインを上回った。
• 定性的な分析から、構造に関する教師なしの学習にもかかわらず、生成されたレシピの木構造が意味的に一貫しており、真の木構造と類似した構造的性質を示していることがわかった。
• モデルは、チキン・ウェリントンやポテト・ケークなど複雑な料理を含む多様な食品画像に対し、関連するレシピを効果的に検索でき、強力なマルチモーダル整合性を示した。
• img2treeモジュールは、画像特徴から多様かつ妥当な木構造を生成でき、それらがより長く一貫性のあるレシピの生成をガイドした。
• 教師なしの木構造学習アプローチは、明示的な構造的アノテーションがなくても、調理プロセスの順序的かつ階層的な性質を効果的に捉えていた。