[論文レビュー] Coffee Roast Intelligence

Sakdipat Ontoum, Thitaree Khemanantakul+3 more|arXiv (Cornell University)|Jun 3, 2022

Coffee research and impacts被引用数 5

ひとこと要約

本論文では、スマートフォンの画像からコーヒーのローストレベルを分類するためのAndroidアプリ「Coffee Roast Intelligence」を提示している。畳み込みニューラルネットワーク（CNN）を用い、4つのローストクラス（緑色、ライト、ミディアム、ダーク）を約82％の正確性で予測している。このシステムは、リアルタイムでのテキストラベルと予測信頼度スコアを提供し、人的な視覚的ばらつきに起因するロースト品質のばらつきを防ぐことで、バーテンダーやロースターが一貫したロースト品質を維持できるようにする。

ABSTRACT

As the coffee industry has grown, there would be more demand for roasted coffee beans, as well as increased rivalry for selling coffee and attracting customers. As the flavor of each variety of coffee is dependent on the degree of roasting of the coffee beans, it is vital to maintain a consistent quality related to the degree of roasting. Each barista has their own method for determining the degree of roasting. However, extrinsic circumstances such as light, fatigue, and other factors may alter their judgment. As a result, the quality of the coffee cannot be controlled. The Coffee Roast Intelligence application is a machine learning-based study of roasted coffee bean degrees classification produced as an Android application platform that identifies the color of coffee beans by photographing or uploading them while roasting. This application displays the text showing at what level the coffee beans have been roasted, as well as informs the percent chance of class prediction to the consumers. Users may also keep track of the result of the predictions related to the roasting level of coffee beans.

研究の動機と目的

• スマートフォンの画像分析を用いて、機械学習ベースのシステムでコーヒー豆のローストレベルを正確に分類すること。
• 照明や疲労などの環境要因に起因するローストレベル推定の人的誤差を低減すること。
• ロースト中におけるロースト進行のモニタリングに、バーテンダーとコーヒーショップオーナーが信頼できるリアルタイムツールを提供すること。
• ユーザーがロースト予測結果を保存・アノテートできるようにし、品質管理とレシピ追跡を可能にすること。
• 自動画像分類によるローストレベルの標準化を通じて、一貫したコーヒーの味わいを実現すること。

提案手法

• 1,000枚以上のコーヒー豆の画像を含むデータセットを用いて、畳み込みニューラルネットワーク（CNN）をトレーニングし、グリーン（未ロースト）、ライト、ミディアム、ダークローストの4つの明確なローストレベルで分類を実施。
• 画像は、一貫した照明とカメラの位置を確保するため、iPhone 12 Miniで撮影された。これにより、画像品質の向上とばらつきの低減を図った。
• RGB値をCNNモデルの入力特徴として使用し、色とテクスチャパターンに基づいてローストレベルを分類する学習を実施。
• 汎化性能の評価と過学習の防止のため、5分割交差検証戦略を用いてモデルをトレーニング。
• Flutterを用いてAndroidアプリを開発し、Firebase（ユーザーデータ用）とMongoDB（予測結果、タイムスタンプ、説明文の保存用）を統合したバックエンドを構築。
• 予測結果は、テキストでのローストレベルラベルと信頼度パcent（パーセント）の両方で表示され、ユーザーは将来の参照用にカスタム説明を添付して結果を保存可能。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの画像分類システムは、スマートフォンで撮影された写真からコーヒー豆のローストレベルを正確に特定できるか？
• RQ2 モデルの性能は、ローストレベルごとに（例：グリーン、ライト、ミディアム、ダーク）精度と再現率の観点でどのように変動するか？
• RQ3 照明、疲労、主観的判断などの要因に起因する人的ばらつきを、このシステムはどの程度低減できるか？
• RQ4 繰り返しのローストセッションにおいて、このシステムは一貫したロースト品質を維持するのにどの程度効果的か？
• RQ5 ユーザーは、アプリの履歴機能とアノテーション機能を効果的に活用して、ローストの結果を追跡・記憶できるか？

主な発見

• テストデータセット上で、モデルの全体的な正確性は約82％に達した。予測の多くは0.7〜0.9の範囲に収束していた。
• 混同行列の結果、ダークローストとグリーンローストの分類において強いパフォーマンスを示し、それぞれ250サンプル中193例、200例が正しく分類された。
• ミディアムローストは、誤分類率が最も高く、247サンプル中35例がダークローストと誤って予測された。
• ライトローストは中程度の正確性を示し、300サンプル中283例が正しく分類されたが、8例がミディアムと誤分類された。
• システムは、信頼度スコアを伴った予測結果を正常に表示でき、ユーザーはアプリの履歴機能を活用してロースト結果を保存・アノテート可能であった。
• トレーニング・バリデーションの正確性と損失曲線から、エポックごとの収束が安定しており、過学習の兆候がほとんどないことから、効果的なモデルトレーニングが実現したと示された。