[논문 리뷰] Is Saki #delicious? The Food Perception Gap on Instagram and Its Relation to Health

Ferda Ofli, Yusuf Aytar외 3명|arXiv (Cornell University)|2017. 02. 21.

Culinary Culture and Tourism참고 문헌 42인용 수 11

한 줄 요약

이 논문은 컴퓨터 시각 기술을 활용하여 인스타그램의 인간 레이블링된 음식 이미지와 기계가 생성한 이미지 인식 레이블 간의 체계적 불일치, 즉 '지각 갭(perception gap)'을 도입한다. 이는 지역 수준에서 주로 인간의 음식 지각이 공중보건 결과와 어떻게 관련되어 있는지를 분석한 것이다. 연구 결과, 더 의도적이고 구체적인 레이블링(예: 사케에 대해 #delicious)이 더 낮은 비만율과 관련이 있음을 확인했으며, 이는 의식적인 음식 지각이 더 나은 건강과 연관되어 있음을 시사한다.

ABSTRACT

Food is an integral part of our life and what and how much we eat crucially affects our health. Our food choices largely depend on how we perceive certain characteristics of food, such as whether it is healthy, delicious or if it qualifies as a salad. But these perceptions differ from person to person and one person's "single lettuce leaf" might be another person's "side salad". Studying how food is perceived in relation to what it actually is typically involves a laboratory setup. Here we propose to use recent advances in image recognition to tackle this problem. Concretely, we use data for 1.9 million images from Instagram from the US to look at systematic differences in how a machine would objectively label an image compared to how a human subjectively does. We show that this difference, which we call the "perception gap", relates to a number of health outcomes observed at the county level. To the best of our knowledge, this is the first time that image recognition is being used to study the "misalignment" of how people describe food images vs. what they actually depict.

연구 동기 및 목표

• 소셜 미디어 이미지에서 인간이 음식을 인지하는 방식과 기계 기반의 이미지 인식 간의 격차를 조사하는 것, 이를 '지각 갭'이라 칭함.
• 이 지각 갭이 미국의 지역 수준에서 실제 공중보건 결과와 어떻게 관련되어 있는지 탐구하는 것.
• 소셜 미디어에서의 주관적 레이블링 패턴(예: #delicious, #healthy)이 더 의식적이고 건강 중심의 음식 선택을 반영하는지 확인하는 것.
• 기계 시각 기술이 단순한 물체 인식을 넘어서 심리적 및 행동적 신호를 의미 있게 탐지할 수 있는지 평가하는 것.
• 소셜 미디어 이미지 데이터와 컴퓨터 시각을 활용한 대규모·저비용 공중보건 감시의 새로운 방법을 수립하는 것.

제안 방법

• 미국에서 기지점이 부여된 190만 개 이상의 인스타그램 음식 이미지를 수집하였으며, 인간이 제공한 해시태그와 기계가 생성한 이미지 태그를 포함함.
• 약 370만 장의 이미지 데이터셋을 기반으로 딥 러닝 기반의 음식 인식 모델을 훈련시켜, Food-101 벤치마크에서 최신 기술 수준의 성능을 달성함.
• '지각 갭'을 인간 레이블링 해시태그와 기계 생성 태그 간의 레이블 확률 분포의 차이로 정의함.
• 기지점이 부여된 게시물의 수준에서의 갭을 집계하여 각 카운티별 지각 갭 특징을 계산함.
• 지각 갭 특징을 카운티 수준의 건강 통계(예: 식품 환경 지수, 비만율)와 상관 분석함.
• 지각 갭 특징의 결과를 인간 태그 또는 기계 태그만을 사용하는 기준 모델과 비교하여 신호의 특이성을 검증함.

실험 결과

연구 질문

• RQ1 미국의 다양한 카운티에서 인간과 기계의 음식 이미지 레이블링 간의 지각 갭은 어떻게 달라지나?
• RQ2 지각 갭은 비만율이나 식품 환경 지수와 같은 측정 가능한 공중보건 결과와 어느 정도 상관관계가 있는가?
• RQ3 특정 인간의 레이블링 행동(예: #delicious 또는 #healthy로 태그 지정)은 더 의식적이고 건강 중심의 음식 선택을 나타내는 지표가 될 수 있는가?
• RQ4 지각 갭은 인간 태그나 기계 태그만을 사용하는 모델보다 건강 결과를 예측하는 데 더 높은 예측 능력을 지니는가?
• RQ5 이미지 인식 기술은 음식 공유 행동에서 심리적 또는 행동적 패턴을 탐지할 수 있으며, 이는 더 넓은 공중보건 추세를 반영하는가?

주요 결과

• 특정 브랜드명(예: #heineken)을 더 자주 사용하는 카운티는 일반적인 레이블보다 더 높은 식품 환경 지수를 보이며, 더 의도적인 음식 선택을 하고 있음을 시사함.
• 기계가 객관적으로 분류한 사케 이미지를 #delicious로 태그 지정하는 것은 그에 해당하는 카운티에서 비만율이 유의미하게 낮게 연관됨.
• 지각 갭 특징 집합은 인간 태그 또는 기계 태그만을 사용하는 모델보다 건강 결과 예측 성능에서 뛰어나, 고유하고 의미 있는 신호를 포착하고 있음을 시사함.
• 지각 갭은 인간 레이블링 편향의 반영일 뿐 아니라, 인간 및 기계 태그 기준을 통제한 후에도 여전히 건강 결과와 상관관계를 보이며, 이는 단순한 편향이 아님을 의미함.
• 이 연구는 이미지 인식 기술이 공중보건과 관련된 더 깊이 있는 행동적 의미를 지닌 음식 지각의 미세한 차이를 탐지할 수 있음을 입증하며, 전통적인 실험실 기반 연구에 비해 확장 가능한 대안을 제공함.
• 지각 갭 분석은 브랜드 특정성과 맛 강조와 같은 체계적인 문화적 및 행동 패턴을 드러내며, 이는 더 건강한 지역 건강 프로파일과 상관관계가 있음.