[論文レビュー] FoodLMM: A Versatile Food Assistant using Large Multi-modal Model

Yuehao Yin, Huiyan Qi+4 more|arXiv (Cornell University)|Dec 22, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

FoodLMMは、食料認識、原材料検出、レシピ生成、栄養推定、マルチラウンド対話とセグメンテーション機能を統合した大規模なマルチモーダルモデルに基づく統合的で多用途な食事アシスタントです。セグメンテーションと栄養予測のためのタスク固有のトークンとヘッドを導入し、専用データセットを用いた二段階訓練戦略を採用することで、Food-101で93.93%のトップ1精度を達成し、従来手法より4.96%高い原材料認識F1スコアを実現し、複数の食事ベンチマークで最先端の性能を発揮しました。

ABSTRACT

Large Multi-modal Models (LMMs) have made impressive progress in many vision-language tasks. Nevertheless, the performance of general LMMs in specific domains is still far from satisfactory. This paper proposes FoodLMM, a versatile food assistant based on LMMs with various capabilities, including food recognition, ingredient recognition, recipe generation, nutrition estimation, food segmentation and multi-round conversation. To facilitate FoodLMM to deal with tasks beyond pure text output, we introduce a series of novel task-specific tokens and heads, enabling the model to predict food nutritional values and multiple segmentation masks. We adopt a two-stage training strategy. In the first stage, we utilize multiple public food benchmarks for multi-task learning by leveraging the instruct-following paradigm. In the second stage, we construct a multi-round conversation dataset and a reasoning segmentation dataset to fine-tune the model, enabling it to conduct professional dialogues and generate segmentation masks based on complex reasoning in the food domain. Our fine-tuned FoodLMM achieves state-of-the-art results across several food benchmarks. We will make our code, models and datasets publicly available.

研究の動機と目的

• 一般の大型マルチモーダルモデルが食事分野においてしばしば幻覚を起こしたり、正確な栄養またはセグメンテーション出力を提供できないという限界を是正すること。
• 分類、原材料認識、レシピ生成、栄養推定、セグメンテーションなどの複数の食事関連タスクを統合し、1つの包括的で柔軟なモデルに統合すること。
• カスタムデータセットをファインチューニングすることで、複雑なマルチラウンド対話と推論ベースのセグメンテーションを可能にすること。
• 1対0および1対多のクエリを含む、困難な参照セグメンテーションケースを正確に処理できるモデルを開発すること。
• コード、モデル、データセットを公開することで、マルチモーダルな食事理解のベンチマークを確立すること。

提案手法

• FoodLMMはLLaVAを拡張し、SAMからのセグメンテーションヘッドを統合するとともに、セグメンテーションと栄養予測のためのタスク固有のトークンを導入しています。
• モデルは二段階の訓練プロセスを採用しています。第一段階では、指示従い型プロンプトを用いた公開の食事ベンチマークでマルチタスク学習を実施し、第二段階では、対話と推論のためのカスタムデータセットでファインチューニングを実施しています。
• 各タスクに特化した指示テンプレートを設計し、分類、認識、レシピ生成のテキスト出力をモデルが生成できるようにしています。
• セグメンテーションのため、複数の特別なトークンを語彙に組み込み、それらの隠れ状態を1つ以上のセグメンテーションマスクにデコードしています。
• 栄養推定は、専用の栄養トークンの隠れ状態を回帰ヘッドで処理し、正確なたんぱく質・脂質・炭水化物およびミネラルなどの栄養素の値を予測します。
• ファインチューニング用のデータセット（FoodDialogues：マルチラウンド栄養対話、FoodReasonSeg：複雑な推論セグメンテーション）は、GPT-4を用いて高品質で文脈に即した相互作用を保証するように構築されています。

実験結果

リサーチクエスチョン

• RQ1 統合型の大規模マルチモーダルモデルは、セグメンテーションや栄養推定を含む多様な食事関連タスクで最先端の性能を達成できるか？
• RQ2 セグメンテーションマスクや数値の栄養予測といったマルチモーダル出力を可能にするために、タスク固有のトークンとヘッドを効果的に設計する方法は何か？
• RQ3 マルチラウンド対話および推論データセットでのファインチューニングは、モデルが複雑で文脈依存のクエリを処理する能力をどの程度向上させるか？
• RQ4 特に1対0の参照クエリにおけるデータのアンバランスは、モデルの性能と一般化能力にどのような影響を与えるか？
• RQ5 1つのモデルが、正確性や耐性を損なわず、複数の食事ベンチマークでタスク特化型モデルを上回る性能を発揮できるか？

主な発見

• FoodLMMはFood-101ベンチマークで93.93%のトップ1精度を達成し、従来手法を上回りました。
• 原材料認識において、FoodLMMは従来の最先端手法CACLNetよりもF1スコアが4.96%高い結果を示しました。
• レシピ生成において、FoodLMMはSacreBLEUとRouge-Lスコアをそれぞれ6.24および39.96を記録し、前回最良手法FIRE比で3.65%および21.46%の向上を達成しました。
• 参照セグメンテーションにおいて、存在しない参照クエリが2%の割合で存在する状況でも、1対0クエリで73.07%の精度を示しました。
• アブレーションスタディの結果、トレーニング時に非存在参照クエリの割合を20%に増加させると、1対1および1対多クエリの精度が99.16%から28.57%に著しく低下することが判明しました。
• データのアンバランス下でも、モデルはcIoUスコアが0.78～0.90の範囲で高い水準を維持しており、マスク品質の優れたロバストネスを示しました。