[논문 리뷰] Coffee Roast Intelligence

Sakdipat Ontoum, Thitaree Khemanantakul외 3명|arXiv (Cornell University)|2022. 06. 03.

Coffee research and impacts인용 수 5

한 줄 요약

이 논문은 스마트폰 이미지에서 커피 생두의 로스팅 수준을 분류하는 데 CNN을 사용하는 안드로이드 애플리케이션인 '커피 로스트 인텔리전스'를 제시한다. 이 시스템은 네 가지 로스팅 수준(초록, 밝은, 중간, 어두운)을 약 82%의 정확도로 예측하며, 실시간 텍스트 레이블과 예측 신뢰도 점수를 제공하여, 인간의 시각적 변동성에 비해 일관된 로스팅 품질을 유지할 수 있도록 한다.

ABSTRACT

As the coffee industry has grown, there would be more demand for roasted coffee beans, as well as increased rivalry for selling coffee and attracting customers. As the flavor of each variety of coffee is dependent on the degree of roasting of the coffee beans, it is vital to maintain a consistent quality related to the degree of roasting. Each barista has their own method for determining the degree of roasting. However, extrinsic circumstances such as light, fatigue, and other factors may alter their judgment. As a result, the quality of the coffee cannot be controlled. The Coffee Roast Intelligence application is a machine learning-based study of roasted coffee bean degrees classification produced as an Android application platform that identifies the color of coffee beans by photographing or uploading them while roasting. This application displays the text showing at what level the coffee beans have been roasted, as well as informs the percent chance of class prediction to the consumers. Users may also keep track of the result of the predictions related to the roasting level of coffee beans.

연구 동기 및 목표

• 스마트폰 이미지 분석을 통해 기계학습 기반의 커피 생두 로스팅 수준 정확한 분류 시스템을 개발하는 것.
• 조명 조건이나 피로도 등 환경적 요인으로 인한 인간의 오차를 줄이는 것.
• 로스팅 중에 로스팅 진행 상황을 실시간으로 모니터링할 수 있도록 바리스타와 카페 오너에게 신뢰할 수 있는 도구를 제공하는 것.
• 사용자가 예측 결과를 저장하고 메모를 추가할 수 있도록 하여 품질 관리 및 레시피 추적을 가능하게 하는 것.
• 자동화된 이미지 분류를 통해 로스팅 수준 식별을 표준화하여 일관된 커피 풍미를 확보하는 것.

제안 방법

• 1,000장 이상의 커피 생두 이미지를 사용한 데이터셋을 기반으로, 녹색(로스팅 전), 밝은, 중간, 어두운 로스팅 수준의 네 가지 단계에서 촬영된 이미지로 CNN 모델을 훈련시켰다.
• 일관된 조명과 카메라 위치를 확보하기 위해 아이폰 12 미니를 사용해 이미지를 촬영하여 이미지 품질을 높이고 변동성을 줄였다.
• 이미지의 RGB 값이 CNN 모델의 입력 특징으로 사용되며, 색상과 질감 패턴을 기반으로 로스팅 수준을 분류하도록 학습된다.
• 일반화 성능 평가와 과적합 방지를 위해 5겹 교차검증 전략을 사용해 모델을 훈련시켰다.
• Flutter를 사용해 안드로이드 애플리케이션을 개발하였으며, 사용자 데이터 저장을 위한 Firebase와 예측 결과, 타임스탬프, 설명을 저장하기 위한 MongoDB를 백엔드로 통합하였다.
• 예측 결과는 텍스트 기반의 로스팅 수준 레이블과 신뢰도 퍼센트로 함께 표시되며, 사용자는 향후 참고를 위해 사용자 정의 설명과 함께 결과를 저장할 수 있다.

실험 결과

연구 질문

• RQ1 스마트폰 사진에서 CNN 기반의 이미지 분류 시스템이 커피 생두의 로스팅 수준을 정확하게 판단할 수 있는가?
• RQ2 다양한 로스팅 수준(예: 녹색, 밝은, 중간, 어두운)에서 정밀도와 재현율 측면에서 모델의 성능은 어떻게 달라지는가?
• RQ3 조명, 피로도 또는 주관적 판단으로 인한 인간의 변동성은 시스템을 통해 어느 정도 감소할 수 있는가?
• RQ4 반복적인 로스팅 세션 동안 일관된 로스팅 품질을 유지하는 데에 이 시스템은 얼마나 효과적인가?
• RQ5 사용자는 애플리케이션의 기록 및 메모 기능을 효과적으로 활용해 로스팅 결과를 추적하고 기억할 수 있는가?

주요 결과

• 모델은 테스트 데이터셋에서 약 82%의 총 정확도를 달성했으며, 대부분의 클래스 예측 결과는 0.7에서 0.9 범위 내에 집중되어 있었다.
• 혼동 행렬 분석 결과 어두운 로스팅과 녹색 로스팅의 분류 성능이 뛰어났으며, 각각 250개 샘플 중 193개, 200개가 정확하게 예측되었다.
• 중간 로스팅의 경우 가장 높은 오분류 비율을 보였으며, 247개 샘플 중 35개가 어두운 로스팅으로 잘못 예측되었다.
• 밝은 로스팅은 중간 수준의 정확도를 보였으며, 300개 샘플 중 283개가 정확하게 예측되었지만, 8개는 중간 로스팅으로 잘못 분류되었다.
• 시스템은 정확도 점수와 함께 예측 결과를 성공적으로 표시했으며, 사용자는 앱의 기록 기능을 통해 예측 결과를 저장하고 메모를 추가할 수 있었다.
• 훈련-검증 정확도 및 손실 곡선은 에포크 수에 따라 안정적으로 수렴하는 경향을 보였으며, 과적합이 최소화된 효과적인 모델 훈련이 이루어졌음을 시사했다.