[論文レビュー] Food Ingredients Recognition through Multi-label Learning

Marc Bolaños, Aina Ferrà+1 more|arXiv (Cornell University)|Jul 27, 2017

Advanced Chemical Sensor Technologies参考文献 11被引用数 5

ひとこと要約

本論文では、事前学習済みのCNN（InceptionV3およびResNet50）を微調整して、未学習のレシピにおいても食品の材料を認識できるマルチラベル深層学習手法を提案する。多様なデータセットで学習することで強力な一般化性能を達成し、特定の材料に特化したニューロンの可視化も行い、研究用に2つの新しいデータセットを公開する。

ABSTRACT

Automatically constructing a food diary that tracks the ingredients consumed can help people follow a healthy diet. We tackle the problem of food ingredients recognition as a multi-label learning problem. We propose a method for adapting a highly performing state of the art CNN in order to act as a multi-label predictor for learning recipes in terms of their list of ingredients. We prove that our model is able to, given a picture, predict its list of ingredients, even if the recipe corresponding to the picture has never been seen by the model. We make public two new datasets suitable for this purpose. Furthermore, we prove that a model trained with a high variability of recipes and ingredients is able to generalize better on new data, and visualize how it specializes each of its neurons to different ingredients.

研究の動機と目的

• 視覚的に曖昧または見えない材料である場合でも、画像からの食品材料の認識に課題を提起する。
• 訓練中に見られなかったレシピに一般化できない既存の食品認識システムの限界を克服する。
• 訓練中に登場しなかった料理の材料を予測できる手法を、マルチラベル学習を活用して開発する。
• 食品材料認識分野の研究を支援するため、2つの新しいデータセットを作成・公開する。
• 可視化技術を用いて、深層ニューラルネットワークのニューロンが特定の材料を検出するためにどのように特化するかを調査する。

提案手法

• 交差エントロピー損失関数を用いて、事前学習済みImageNetモデル（InceptionV3およびResNet50）をマルチラベル分類用に微調整する。
• CNNの最終全結合層を変更し、各材料の存在／非存在を示すバイナリーベクトルを出力するようにする。
• 一般化性能を向上させるために、材料リストとペairedされた多様な食品画像データセットでモデルを学習する。
• ニューロン活性化の可視化技術を適用し、特定の材料を検出するために特化しているニューロンを分析する。
• 2つのデータセット（Ingredients101：101種類の材料、1万枚の画像；Recipes5k：5,000レシピ、5万枚の画像）を用い、細分化されたおよび簡略化された材料リストの両方を含む。
• F1スコア、適合率、再現率を用いてモデルの性能を評価し、学習済みデータと未学習データの両方で結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 マルチラベル深層学習モデルは、訓練時に一度も見られなかったレシピの材料を一般化して認識できるか？
• RQ2 材料とレシピの多様性が高いデータセットで学習させることで、モデルの一般化性能にどのような影響を与えるか？
• RQ3 視覚的に目立たない材料であっても、CNN内の個々のニューロンが特定の材料を検出するために特化する程度はどの程度か？
• RQ4 視覚的特徴のみに依存して、見えないまたはわずかに表現された材料（例：ベーキングデザート内の砂糖）を推論できるか？
• RQ5 訓練および評価時に材料リストを簡略化することで、モデルの性能と耐性にどのような影響を与えるか？

主な発見

• 本モデルは、多様なIngredients101データセットで学習した場合、簡略化されたRecipes5kデータセットにおいて未学習のレシピに対して40％を超えるF1スコアを達成し、強力な一般化性能を示した。
• 高ばらつきの高いデータセット（例：Ingredients101）で学習したモデルは、限定的または特定のデータで学習したモデルよりも顕著に優れた一般化性能を示した。
• ニューロン活性化の可視化により、特定のニューロンが明確に特定の材料を検出するために特化していることが判明した。例えば、ハンバーガーにおけるレタスやケチャップ、クレーム・ブリュレのようなデザートにおける砂糖に反応するニューロンが観察された。
• モデルは材料の意味的埋め込みを学習し、たとえ正解に1つのバリエーション（例：「卵」や「溶き割り卵」）しか存在しなくても、関連する細分化されたバリエーションをグループとして予測できるようになった。
• モデルは、視覚的手がかりのみに依存して、見えない材料（例：ベーキングデザート内の砂糖）の存在を正しく推論でき、材料構成の抽象化が強力に実現された。
• 訓練時に材料リストを簡略化することでF1スコアが47.5％まで向上した。これは、ラベルの複雑さを低減することでモデル性能が向上するが、細分化された認識能力を損なわないことを示している。