[논문 리뷰] Learning to Taste: A Multimodal Wine Dataset

Thoranna Bender, Simon Lyck Bjært Sørensen외 6명|arXiv (Cornell University)|2023. 08. 31.

Wine Industry and TourismBusiness, Management and Accounting참고 문헌 53인용 수 3

한 줄 요약

이 논문은 897만 건의 포도주 라벨 이미지, 824만 건의 사용자 리뷰, 그리고 인위적 풍미 유사도 평가를 통해 수집한 5,000건 이상의 쌍별 풍미 유사도(annotation)를 통합한 대규모 다중모달 포도주 데이터셋인 WineSensed를 소개한다. 이는 시각, 텍스트, 풍미 데이터를 저차원 공간으로 융합하는 공유 임베딩 모델인 FEAST를 제안하여 인간의 풍미 인식과의 일치도를 크게 향상시키고, 굵은 풍미 분류 작업에서의 성능을 향상시킨다.

ABSTRACT

We present WineSensed, a large multimodal wine dataset for studying the relations between visual perception, language, and flavor. The dataset encompasses 897k images of wine labels and 824k reviews of wines curated from the Vivino platform. It has over 350k unique bottlings, annotated with year, region, rating, alcohol percentage, price, and grape composition. We obtained fine-grained flavor annotations on a subset by conducting a wine-tasting experiment with 256 participants who were asked to rank wines based on their similarity in flavor, resulting in more than 5k pairwise flavor distances. We propose a low-dimensional concept embedding algorithm that combines human experience with automatic machine similarity kernels. We demonstrate that this shared concept embedding space improves upon separate embedding spaces for coarse flavor classification (alcohol percentage, country, grape, price, rating) and aligns with the intricate human perception of flavor.

연구 동기 및 목표

• 기계 학습과 식품 과학 간 격차를 해소하기 위해 인간의 포도주 풍미 인식을 모델링할 수 있는 풍부한 다중모달 데이터셋을 구축하는 것.
• Napping 방법론을 활용한 대규모 감각 연구를 통해 인간의 풍미 인식의 미묘한 특징을 포착하는 것.
• 시각, 텍스트, 풍미 모달리티를 통합하는 공유 임베딩 공간을 개발하여 후속 분류 작업 및 인식 일치도를 향상시키는 것.
• 풍미 애너테이션의 존재가 전통적인 특성(포도 품종, 가격, 평점 등)을 초월해 다중모달 표현 학습을 향상시킨다는 것을 검증하는 것.

제안 방법

• 100여 종의 포도주에 대해 쌍별 풍미 유사도 판단을 수집하기 위해 256명의 참가자가 참여한 대규모 Napping 연구를 수행하였다.
• Harris 역점 검출 및 투영 변환 기법을 사용하여 물리적 애너테이션 시트를 디지털화하고, 포도주 위치 간 픽셀 간격을 추출하였다.
• 시트에 부착된 색깔 스티커를 포도주 식별자로 매핑하고, 유클리드 거리를 풍미 유사도 점수로 계산하였다.
• 인간이 애너테이션한 풍미 거리와 시각-언어 임베딩을 융합하는 저차원 개념 임베딩 알고리즘인 FEAST(Flavor Embeddings from Annotated Similarity & Text-Image)를 제안하였다.
• 이중 거리 측정을 감독 신호로 사용하여 이미지 및 텍스트 임베딩을 인간이 애너테이션한 풍미 공간과 일치시키도록 모델을 훈련시켰다.
• 사전 훈련된 다중모달 모델을 활용해 포도주 라벨 이미지와 사용자 리뷰에서 의미적 및 구조적 특징을 추출하였으며, 이를 풍미 임베딩과 융합하였다.

실험 결과

연구 질문

• RQ1 공유 다중모달 임베딩 공간이 알코올 농도, 포도 품종, 원산지와 같은 굵은 풍미 개념의 모델링에 기여하는가?
• RQ2 인간이 애너테이션한 풍미 유사도 데이터를 통합할 경우 기계 표현이 인간의 맛 인식과 더 잘 일치하는가?
• RQ3 이미지, 텍스트, 풍미 애너테이션과 같은 다양한 데이터 모달리티가 함께 기여하여 더 정확한 풍미 표현을 학습하는 데 기여하는가?
• RQ4 쌍별 풍미 거리 사용이 순서형 랭킹보다 풍미 인식 표현 학습에 더 효과적인가?

주요 결과

• 순서형 랭킹이 아닌 쌍별 풍미 거리 사용이 풍미 표현의 품질을 크게 향상시켜 애너테이션 방법론의 타당성을 입증하였다.
• 이미지, 텍스트, 풍미 애너테이션 등 다양한 모달리티의 통합은 후속 분류 작업에서 성능 향상에 상당한 기여를 하였다.
• 제안된 FEAST 모델은 인간의 풍미 인식과 강력한 일치도를 보였으며, 공유 임베딩 공간이 미묘한 감각적 관계를 잘 포착하고 있음을 입증하였다.
• 모델은 공유 임베딩 공간 내에서 포도 구성, 알코올 농도, 원산지와 같은 굵은 풍미 개념을 성공적으로 인코딩하였다.
• 데이터셋과 전처리 파이프라인은 크리에이티브 커먼즈 저작자표시 4.0 라이선스 하에 공개되어 있어 광범위한 재사용과 확장이 가능하다.
• 데이터셋은 완전히 익명화되어 개인을 특정할 수 없기 때문에, 데이터 보관 또는 동의 철회 메커니즘을 도입하지 않았다.