[論文レビュー] Yum-me: A Personalized Nutrient-based Meal Recommender System

Longqi Yang, Cheng-Kang Hsieh+5 more|arXiv (Cornell University)|May 25, 2016

Nutritional Studies and Diet参考文献 54被引用数 34

ひとこと要約

Yum-me は、視覚的クイズインターフェースと画像比較からのオンライン学習を活用して、細分化された食品嗜好を正確にプロファイリングする、栄養に基づくパーソナライズドメニューレコメンデーションシステムである。同時に、独創的な食品画像分析モデル（FoodDist）を活用することで、栄養的に適切で味覚に配慮したレコメンデーションを実現している。60名のユーザーを対象としたユーザースタディで、レコメンデーション受容率が42.63%向上した。

ABSTRACT

Nutrient-based meal recommendations have the potential to help individuals prevent or manage conditions such as diabetes and obesity. However, learning people's food preferences and making recommendations that simultaneously appeal to their palate and satisfy nutritional expectations are challenging. Existing approaches either only learn high-level preferences or require a prolonged learning period. We propose Yum-me, a personalized nutrient-based meal recommender system designed to meet individuals' nutritional expectations, dietary restrictions, and fine-grained food preferences. Yum-me enables a simple and accurate food preference profiling procedure via a visual quiz-based user interface, and projects the learned profile into the domain of nutritionally appropriate food options to find ones that will appeal to the user. We present the design and implementation of Yum-me, and further describe and evaluate two innovative contributions. The first contriution is an open source state-of-the-art food image analysis model, named FoodDist. We demonstrate FoodDist's superior performance through careful benchmarking and discuss its applicability across a wide array of dietary applications. The second contribution is a novel online learning framework that learns food preference from item-wise and pairwise image comparisons. We evaluate the framework in a field study of 227 anonymous users and demonstrate that it outperforms other baselines by a significant margin. We further conducted an end-to-end validation of the feasibility and effectiveness of Yum-me through a 60-person user study, in which Yum-me improves the recommendation acceptance rate by 42.63%.

研究の動機と目的

• 細分化された食品嗜好を学習しつつ、ユーザーの栄養ニーズと食事制限を満たす課題に対処すること。
• 食品日記システムにおける粗いアンケートベースの嗜好特定とコールドスタート問題の限界を克服すること。
• 最小限のユーザーの作業と時間で、軽量で効率的かつ正確な嗜好プロファイリング手法を設計すること。
• 多様な食事用途に応用可能な一般用途の食品画像分析モデル（FoodDist）を開発すること。
• 実世界の環境において、Yum-meシステム全体のエンドツーエンドの実現可能性と有効性を評価すること。

提案手法

• テキストベースのアンケートに依存しないように、ユーザーがペアワイズで食品画像を比較する視覚的クイズインターフェースを採用し、細分化された嗜好を抽出する。
• アイテム単位およびペアワイズの画像比較に基づくオンライン学習フレームワークを導入し、迅速かつ正確な嗜好プロファイリングを可能にする。
• FoodDist は、視覚的類似性を反映する意味のあるユークリッド距離を持つ特徴を抽出できるように訓練された、ディープラーニングベースの食品画像分析モデルである。
• 制約に基づく最適化を用いて、学習された食品嗜好を栄養的空間に投影し、嗜好に配慮しただけでなく栄養的に適切なメニューレコメンデーションを実現する。
• 2段階のレコメンデーションパイプラインを採用する：(1) 視覚的比較による嗜好モデリング、(2) 検討済み食品データベースからの栄養制約付きメニューセレクション。
• FoodDist をオープンソースとしてリリースし、エッジデバイスへのデプロイに適したモバイルフレンドリーな推論パイプライン（caffe-android-lib を介して）を提供する。

実験結果

リサーチクエスチョン

• RQ1 視覚的で画像ベースのインターフェースは、従来のアンケート手法よりも、より正確かつ効率的に細分化された食品嗜好を捉えることができるか？
• RQ2 ペアワイズ画像比較に基づくオンライン学習フレームワークは、最小限のユーザー入力と時間で高い嗜好モデリング精度を達成できるか？
• RQ3 FoodDist モデルは、既存の画像特徴抽出器に比べて、食品固有の分類およびクラスタリングタスクで優れた性能を示すか？
• RQ4 視覚的嗜好学習と栄養制約の統合は、ベースラインシステムと比較して、レコメンデーション受容率をどの程度向上させるか？
• RQ5 Yum-me システムは、測定可能なレコメンデーション品質の向上が得られる実世界のユーザースタディにおいて、効果的にデプロイおよび検証可能か？

主な発見

• 画像比較に基づくオンライン学習フレームワークは、匿名ユーザー227名を対象とした現地スタディで、ベースライン手法を著しく上回る嗜好モデリング精度を示した。
• 60名のユーザーを対象としたエンドツーエンドのユーザースタディで、Yum-me はレコメンデーション受容率を42.63%向上させ、実用的効果の高さを実証した。
• FoodDist は、分類およびクラスタリングを含む複数の食品画像分析タスクにおいて、ベンチマークで最先端の性能を達成した。
• FoodDist の推論時間は、コンsumer 8コアプロセッサ上でも1画像あたり0.5秒未満であり、リアルタイムおよびモバイルアプリケーションに適している。
• 視覚インターフェースにより、嗜好特定に要する時間と作業が削減された一方で、テキストベースのアンケートが見逃す可能性のある繊細な食品嗜好を捉えることができた。
• ユーザーの嗜好を栄養的制約付き空間に投影できるシステムの能力により、個人的に魅力的でありながらも健康に配慮したレコメンデーションが可能になった。