[論文レビュー] Learning Cross-Modal Embeddings with Adversarial Networks for Cooking Recipes and Food Images

Hao Wang, Doyen Sahoo+3 more|arXiv (Cornell University)|May 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 12

ひとこと要約

本論文では、調理レシピと料理画像の間のクロスモダリティ埋め込みを学習するエンドツーエンドの対抗フレームワークACMEを提案する。ハードサンプルマイニング、対抗的モダリティアライメント、クロスモダリティ翻訳の一貫性を組み合わせることで、Recipe1Mベンチマークにおいて最先端の性能を達成し、モダリティ間の検索精度と意味的整合性が顕著に向上した。

ABSTRACT

Food computing is playing an increasingly important role in human daily life, and has found tremendous applications in guiding human behavior towards smart food consumption and healthy lifestyle. An important task under the food-computing umbrella is retrieval, which is particularly helpful for health related applications, where we are interested in retrieving important information about food (e.g., ingredients, nutrition, etc.). In this paper, we investigate an open research task of cross-modal retrieval between cooking recipes and food images, and propose a novel framework Adversarial Cross-Modal Embedding (ACME) to resolve the cross-modal retrieval task in food domains. Specifically, the goal is to learn a common embedding feature space between the two modalities, in which our approach consists of several novel ideas: (i) learning by using a new triplet loss scheme together with an effective sampling strategy, (ii) imposing modality alignment using an adversarial learning strategy, and (iii) imposing cross-modal translation consistency such that the embedding of one modality is able to recover some important information of corresponding instances in the other modality. ACME achieves the state-of-the-art performance on the benchmark Recipe1M dataset, validating the efficacy of the proposed technique.

研究の動機と目的

• モダリティの分布シフトや情報損失が性能を妨げる調理レシピと料理画像の間のクロスモダリティ検索の課題に対処すること。
• 対抗的学習により、レシピと画像の異種特徴分布をアライメントすることで埋め込み品質を向上させること。
• 1つのモダリティの埋め込みが他方のモダリティの重要な情報を再構築できることを強制することで意味的一貫性を確保すること。
• 従来の三重損失の限界（収束が遅く、ハードネガティブマイニングが不十分）を、新しいサンプリング戦略により克服すること。
• 共有された意味的空間を学習することで、実用的な健康・栄養関連の応用を可能にすること。

提案手法

• 収束性と検索性能の向上を目的に、三重損失フレームワーク内でのハードサンプルマイニング戦略を導入する。
• レシピと画像の埋め込みの周辺分布をアライメントするために、対抗的損失を採用し、共有空間内で両者が区別不能になるようにする。
• クロスモダリティ翻訳コンポーネントを実装：レシピから画像を生成するジェネレータと、画像から材料を予測する予測器を用い、一貫性を強制する。
• 三重損失、対抗的損失、再構築損失を組み合わせたマルチタスク損失を用いて、フレームワーク全体をエンドツーエンドで訓練する。
• 共有重みを有するシアンプスネットワークアーキテクチャを採用し、レシピ（LSTM）と画像（CNN）の符号化に用い、その後に共有埋め込み層を配置する。
• 訓練の安定化と一般化性能の向上を図るため、インスタンスレベルの正規化と特徴レベルの正規化を適用する。

実験結果

リサーチクエスチョン

• RQ1 レシピと料理画像のような異種モダリティの特徴分布を、対抗的学習で効果的にアライメントできるか？
• RQ2 三重損失フレームワーク内でのハードサンプルマイニングが、クロスモダリティ学習における収束性と検索精度を向上させるか？
• RQ3 クロスモダリティ翻訳の一貫性が、意味的整合性を高め、埋め込み内の情報損失を低減できるか？
• RQ4 提案されたACMEフレームワークは、大規模なクロスモダリティ検索ベンチマークにおいて、最先端の手法と比較してどのように差をつけるか？
• RQ5 学習された埋め込みが、料理画像からのレシピ検索など実用的応用をどの程度サポートできるか？

主な発見

• ACMEはRecipe1Mベンチマークで最先端の性能を達成し、既存手法よりもクロスモダリティ検索精度が優れている。
• アブレーションスタディにより、ハードサンプル選択、対抗的アライメント、クロスモダリティ一貫性の各コンポーネントが性能向上に顕著に寄与していることが確認された。
• 定性的な結果から、クエリ画像が曖昧であったり低解像度であったりしても、検索された画像が正解と視覚的に類似していることが示された。
• クロスモダリティ翻訳コンポーネントは、レシピから妥当な料理画像を生成し、画像から正確に材料を予測できており、意味的整合性が保たれていることが示された。
• 複雑な料理（チキンスープやフルーツサラダなど）を含む多様な料理カテゴリにわたり、モデルの一般化性能が高く、視覚的特徴が微細な場合でも良好に動作した。
• クエリモダリティにノイズや不完全な情報（材料が欠落したレシピやぼやけた画像）が含まれても、効果的な検索が可能であることが示された。