[論文レビュー] Is Saki #delicious? The Food Perception Gap on Instagram and Its Relation to Health

Ferda Ofli, Yusuf Aytar+3 more|arXiv (Cornell University)|Feb 21, 2017

Culinary Culture and Tourism参考文献 42被引用数 11

ひとこと要約

本稿では、コンピュータビジョンを用いて、Instagramの食品画像における人間によるラベル付けと機械による画像認識ラベルとの間の系統的な不一致、すなわち「認識ギャップ」を導入する。このギャップは、県レベルの公衆衛生結果と関連する主観的な食品認識の仕組みを分析するものである。研究では、より意図的で具体的なラベル付け（例：「#delicious」によるサッカーのラベル）が、肥満率の低下と相関していることが判明しており、意識的な食品認識がより良い健康状態と関連している可能性を示唆している。

ABSTRACT

Food is an integral part of our life and what and how much we eat crucially affects our health. Our food choices largely depend on how we perceive certain characteristics of food, such as whether it is healthy, delicious or if it qualifies as a salad. But these perceptions differ from person to person and one person's "single lettuce leaf" might be another person's "side salad". Studying how food is perceived in relation to what it actually is typically involves a laboratory setup. Here we propose to use recent advances in image recognition to tackle this problem. Concretely, we use data for 1.9 million images from Instagram from the US to look at systematic differences in how a machine would objectively label an image compared to how a human subjectively does. We show that this difference, which we call the "perception gap", relates to a number of health outcomes observed at the county level. To the best of our knowledge, this is the first time that image recognition is being used to study the "misalignment" of how people describe food images vs. what they actually depict.

研究の動機と目的

• ソーシャルメディアの画像における人間の食品認識と、客観的な機械ベースの画像認識との間の乖離、すなわち「認識ギャップ」を調査すること。
• この認識ギャップが、米国の県レベルにおける現実の公衆衛生結果とどのように関連するかを調査すること。
• ソーシャルメディア上での主観的ラベル付けパターン（例：「#delicious」、「#healthy」）が、より意識的で健康志向の高い食品選択を反映しているかどうかを特定すること。
• 画像認識技術が、単なる物体認識を超えて、食品共有における心理的・行動的信号をどのように検出できるかを評価すること。
• ソーシャルメディアの画像データとコンピュータビジョンを組み合わせた、大規模かつ低コストな公衆衛生監視の新手法を確立すること。

提案手法

• 米国から190万件の位置情報付きInstagram食品画像を収集し、人間が付与したハッシュタグと機械が生成した画像タグを併記した。
• 約370万枚の画像データセットを用いて深層学習ベースの食品認識モデルを訓練し、Food-101ベンチマークで最先端の性能を達成した。
• 「認識ギャップ」を、人間が付与したハッシュタグと機械が生成した画像タグのラベル確率分布の差異として定義した。
• 位置情報付き投稿の画像レベルでのギャップを集計し、県ごとの認識ギャップ特徴量を算出した。
• 認識ギャップ特徴量と、食品環境指数や肥満率を含む県レベルの健康統計を相関させた。
• 人間のタグのみ、または機械のタグのみを用いたベースラインモデルと比較することで、信号の特異性を検証した。

実験結果

リサーチクエスチョン

• RQ1 米国の異なる県において、人間と機械による食品画像ラベル付けの認識ギャップはどのように変動するか？
• RQ2 認識ギャップは、肥満率や食品環境指数といった測定可能な公衆衛生結果と、どの程度相関しているか？
• RQ3 特定の人のラベル付け行動（例：「#delicious」や「#healthy」として画像をタグ付けする）は、より意識的で健康志向の高い食品選択の指標として機能するか？
• RQ4 認識ギャップは、人間のタグや機械のタグのみを用いたモデルよりも、健康結果の予測に優れた予測力を持つのか？
• RQ5 画像認識技術は、より広範な公衆衛生トレンドを反映する心理的または行動的パターンを、食品共有の文脈で検出できるか？

主な発見

• ブランド名を具体的に使用する（例：「#heineken」）傾向が強い県では、食品環境指数のスコアが高く、より意図的で意識的な食品選択が示唆された。
• 機械による分類では「お酒」に分類されるサッカーの画像に対し、「#delicious」としてラベル付けされた場合、その県の肥満率が顕著に低下していた。
• 認識ギャップ特徴量は、人間のタグのみまたは機械のタグのみを用いたモデルよりも、健康結果の予測において優れた性能を示し、独自で意味のある信号を捉えていることが示された。
• 認識ギャップは、人間や機械のラベルベースラインを補正した後でも、健康結果と相関しており、単なる人間のラベルバイアスの反映ではないことが示された。
• 本研究では、画像認識技術が、公衆衛生と関連する、より繊細で行動的に意味のある食品認識の違いを検出できることを示し、従来の実験室ベースの研究とは対照的にスケーラブルな代替手法を提供した。
• 認識ギャップ分析により、ブランドの明示性や味の強調といった、文化的で行動的なパターンが、より健康的な地域の健康プロファイルと相関していることが明らかになった。