[論文レビュー] Learning to Taste: A Multimodal Wine Dataset

Thoranna Bender, Simon Lyck Bjært Sørensen+6 more|arXiv (Cornell University)|Aug 31, 2023

Wine Industry and TourismBusiness, Management and Accounting参考文献 53被引用数 3

ひとこと要約

本稿では、897,000枚のワインラベル画像、824,000件のユーザーレビュー、およびクラウドソーシングによるテイスティング研究から得られた5,000件以上のペアワイズフレーバー類似度アノテーションを統合した大規模なマルチモーダルワインデータセットであるWineSensedを紹介する。本稿では、画像、テキスト、フレーバー情報を低次元空間に統合する共有埋め込みモデルFEASTを提案し、人間のフレーバーパーセプションとの整合性および粗いフレーバー分類タスクにおける性能を顕著に向上させた。

ABSTRACT

We present WineSensed, a large multimodal wine dataset for studying the relations between visual perception, language, and flavor. The dataset encompasses 897k images of wine labels and 824k reviews of wines curated from the Vivino platform. It has over 350k unique bottlings, annotated with year, region, rating, alcohol percentage, price, and grape composition. We obtained fine-grained flavor annotations on a subset by conducting a wine-tasting experiment with 256 participants who were asked to rank wines based on their similarity in flavor, resulting in more than 5k pairwise flavor distances. We propose a low-dimensional concept embedding algorithm that combines human experience with automatic machine similarity kernels. We demonstrate that this shared concept embedding space improves upon separate embedding spaces for coarse flavor classification (alcohol percentage, country, grape, price, rating) and aligns with the intricate human perception of flavor.

研究の動機と目的

• 機械学習と食品科学の間のギャップを埋めるために、ワインにおける人間のフレーバーパーセプションをモデル化する豊富なマルチモーダルデータセットを構築すること。
• Napping手法を用いた大規模な感覚的調査を通じて、人間のフレーバーパーセプションの微細な側面を捉えること。
• 視覚的、言語的、フレーバーのモダリティを統合する共有埋め込み空間を構築し、下流の分類タスクおよびパーセプションの整合性を向上させること。
• フレーバーのアノテーションが、ブドウ品種、価格、レーティングといった従来の属性を超えて、マルチモーダル表現学習を向上させることを検証すること。

提案手法

• 100種類以上のワインに対して、256名の参加者を対象に大規模なNapping研究を実施し、ペアワイズのフレーバー類似度判断を収集した。
• ハリスコーナー検出とホモグラフィックプロジェクションを用いて、物理的なアノテーション用紙をデジタル化し、ワインの位置間のピクセル単位の距離を抽出した。
• 用紙上の色付きステッカーをワインの識別子にマッピングし、ユークリッド距離をフレーバー類似度スコアとして計算した。
• 人間がアノテートしたフレーバー距離とビジョン・ランゲージ埋め込みを組み合わせた、低次元のコンセプト埋め込みアルゴリズムであるFEAST（Flavor Embeddings from Annotated Similarity & Text-Image）を提案した。
• 画像とテキストの埋め込みを、人間がアノテートしたフレーバー空間と一致させるようにモデルを訓練し、ペアワイズ距離を教師信号として用いた。
• 事前学習済みのマルチモーダルモデルを活用して、ワインラベル画像とユーザーレビューから意味的および構造的な特徴を抽出し、それらをフレーバー埋め込みと統合した。

実験結果

リサーチクエスチョン

• RQ1 共有マルチモーダル埋め込み空間は、アルコール含有量、ブドウ品種、原産国といった粗いフレーバーコンセプトのモデリングを改善できるか？
• RQ2 人間がアノテートしたフレーバー類似度データを組み込むことで、機械の表現が人間の味覚パーセプションと整合するようになるか？
• RQ3 画像、テキスト、フレーバーのアノテーションといった異なるデータモダリティが、どのように共同してより正確なフレーバーレプレゼンテーションの学習に寄与するか？
• RQ4 順序付きランク付けよりもペアワイズフレーバー距離を用いる方が、フレーバーに配慮した表現の学習において効果的か？

主な発見

• 順序付きランク付けではなくペアワイズフレーバー距離を用いることで、学習されたフレーバーレプレゼンテーションの質が顕著に向上し、アノテーション手法の有効性が裏付けられた。
• 画像、テキスト、フレーバーのアノテーションという複数のモダリティを統合することで、下流の分類タスクにおける性能が著しく向上した。
• 提案されたFEASTモデルは、人間のフレーバーパーセプションと強い整合性を示し、共有埋め込み空間が複雑な感覚的関係を的確に捉えていることを実証した。
• モデルは、ブドウ組成、アルコール含有量、原産国といった粗いフレーバーコンセプトを、共有埋め込み空間内に効果的にエンコードできた。
• データセットおよび前処理パイプラインは、クリエイティブ・コモンズ・アトリビューション4.0ライセンスの下で公開されており、広範な再利用と拡張が可能である。
• データセットは完全に匿名化されており、個人を特定できないため、データ保持または同意の撤回メカニズムは実装されていなかった。