[논문 리뷰] Diet2Vec: Multi-scale analysis of massive dietary data

Wesley Tansey, Edward W. Lowe외 1명|arXiv (Cornell University)|2016. 12. 01.

Nutritional Studies and Diet참고 문헌 4인용 수 1

한 줄 요약

Diet2Vec은 대규모 55,000명 사용자 데이터셋에서 식품, 식사, 전체 식단에 대한 해석 가능한 실수값 임베딩을 학습하는 다중 척도 딥러닝 프레임워크이다. word2vec과 paragraph2vec을 결합하고 반복적 클러스터링 및 정규화를 통해 각 수준에서 의미 있는 클러스터를 발견하며, 훈련 과정에서 영양 정보를 명시적으로 입력하지 않았음에도 불구하고 식단 수준의 클러스터가 뚜렷한 근원질 프로필을 보여준다.

ABSTRACT

Smart assistants and recommender systems must deal with lots of information coming from different sources and having different formats. This is more frequent in text data, which presents increased variability and complexity, and is rather common for conversational assistants or chatbots. Moreover, this issue is very evident in the food and nutrition lexicon, where the semantics present increased variability, namely due to hypernyms and hyponyms. This work describes the creation of a set of word embeddings based on the incorporation of information from a food thesaurus - LanguaL - through retrofitting. The ingredients were classified according to three different facet label groups. Retrofitted embeddings seem to properly encode food-specific knowledge, as shown by an increase on accuracy as compared to generic embeddings (+23%, +10% and +31% per group). Moreover, a weighing mechanism based on TF-IDF was applied to embedding creation before retrofitting, also bringing an increase on accuracy (+5%, +9% and +5% per group). Finally, the approach has been tested with human users in an ingredient retrieval exercise, showing very positive evaluation (77.3% of the volunteer testers preferred this method over a string-based matching algorithm).

연구 동기 및 목표

• 스마트폰 식단 기록 앱에서의 실세계 데이터를 활용해 스케일에 맞는 세밀한 식단 패턴을 모델링하기 위해.
• 소비자 기반의 노이즈가 많은 식단 데이터에 도전하기 위해 잠재 표현을 학습하는 데 강건하고 확장 가능한 방법을 개발하기 위해.
• 텍스트적 및 영양학적 특징을 모두 사용하여 식품, 식사, 완전한 식사 패턴을 포함한 계층적 다중 척도 표현을 만들기 위해.
• 실세계 식사 행동과 영양 프로필을 반영하는 각 수준에서 해석 가능한 클러스터를 생성하기 위해.
• 개인화된 영양 권장 사항 및 체중 관리에서의 행동 예측과 같은 후속 애플리케이션을 가능하게 하기 위해.

제안 방법

• 각 식품 이름을 문서로 간주하고, 식품 이름에 word2vec을 적용하여 초기 이름 기반 임베딩을 생성한다.
• 탄수화물, 단백질, 지방 등의 근원질 및 비타민 등 영양소 값을 칼로리 기준으로 정규화하여 부분 크기의 영향을 제거한다.
• word2vec 기반 식품 이름 벡터와 정규화된, winsorized 처리된 영양소 벡터를 결합하여 최종 식품 임베딩을 구성한다.
• 식사 수준 데이터에 paragraph2vec(DBOW)를 적용하여, 식사가 식품 항목의 순서로 구성된 시퀀스임을 고려해 식사 수준의 임베딩을 생성한다.
• 각 수준의 임베딩에 클러스터링(예: k-means)을 적용하여 식품, 식사, 식단 수준에서 해석 가능한 '단어'를 형성한다.
• 수축-확장 과정을 반복적으로 개선함으로써 표현을 정교화한다: 임베딩을 클러스터링한 후 다음 상위 수준에서 재임베딩한다.

실험 결과

연구 질문

• RQ1 확장 가능한 딥러닝 프레임워크는 거대하고 노이즈가 많은 실세계 데이터로부터 의미 있고 해석 가능한 식단 패턴 표현을 학습할 수 있는가?
• RQ2 식품, 식사, 식단 수준에서 유도된 클러스터는 직관적이며 실세계 식사 행동과 영양 프로필을 반영하는가?
• RQ3 영양 정보를 직접 입력하지 않은 채 공존 패턴 기반으로 학습된 식사 수준 임베딩이 여전히 사용자 식단의 명확한 근원질 비율을 포착할 수 있는가?
• RQ4 최종 식단 클러스터가 저탄수화물 또는 고단백 식단과 같은 알려진 식단 패턴과 어느 정도 일치하는가?
• RQ5 모델의 출력을 개인화된 식사 추천이나 체중 감량 예측과 같은 실용적 응용에 활용할 수 있는가?

주요 결과

• 모델은 8,800만 건의 식품 로그 항목에서 450만 개의 고유 식품 임베딩을 성공적으로 학습하였으며, 식품 클러스터의 90%가 이름과 영양 프로필 기반으로 매우 해석 가능했다.
• 공존 패턴에서 유도된 식사 수준 임베딩은 '멕시칸 푸드', '미국식 아침 식사', '서브웨이 콤비나주션 메뉴'와 같은 1,000개의 해석 가능한 클러스터를 형성했다.
• 식단 수준의 클러스터는 식사 단어 백에서 유도되었으며, 뚜렷한 근원질 프로필을 보였다: 한 그룹은 명확히 저탄수화물이었고, 다른 그룹은 고탄수화물·저지방이었으며, 세 번째 그룹은 균형 잡힌 프로필이었다.
• 식사 모델링 단계에서 영양 정보를 직접 입력하지 않았음에도 불구하고, 유도된 식단 클러스터는 강한 의미론적 및 영양학적 일관성을 보였으며, 공존 패턴에서 유래된 잠재적 구조가 존재함을 시사했다.
• 중위수 편차 표준화 및 winsorization을 통해 데이터 노이즈(예: 철자 오류, 누락된 영양소 등)에 강건함을 입증했다.
• 최종 식단 클러스터는 선택된 것이 아니었으며, 해석 불가능한 클러스터는 흔치 않았고, 대부분의 클러스터는 55,000명 사용자 데이터셋에서 일반적인 식단 패턴을 반영했다.