[논문 리뷰] Food Ingredients Recognition through Multi-label Learning

Marc Bolaños, Aina Ferrà외 1명|arXiv (Cornell University)|2017. 07. 27.

Advanced Chemical Sensor Technologies참고 문헌 11인용 수 5

한 줄 요약

이 논문은 이미지에서 음식 재료를 식별하기 위해 미세조정된 CNN(이н셉션V3 및 ResNet50)을 사용하는 다중 레이블 딥 러닝 접근법을 제안한다. 이는 새로운 레시피에서도 성능을 발휘할 수 있도록 다양한 데이터셋으로 훈련하여 강력한 일반화 능력을 확보하며, 특정 재료에 특화된 뉴런의 시각화를 통해 신경망의 특성화를 분석하고, 연구를 위해 두 개의 새로운 데이터셋을 공개한다.

ABSTRACT

Automatically constructing a food diary that tracks the ingredients consumed can help people follow a healthy diet. We tackle the problem of food ingredients recognition as a multi-label learning problem. We propose a method for adapting a highly performing state of the art CNN in order to act as a multi-label predictor for learning recipes in terms of their list of ingredients. We prove that our model is able to, given a picture, predict its list of ingredients, even if the recipe corresponding to the picture has never been seen by the model. We make public two new datasets suitable for this purpose. Furthermore, we prove that a model trained with a high variability of recipes and ingredients is able to generalize better on new data, and visualize how it specializes each of its neurons to different ingredients.

연구 동기 및 목표

• 시각적으로 모호하거나 보이지 않는 재료가 포함된 이미지에서 음식 재료를 인식하는 데 도전하는 것.
• 기존의 음식 인식 시스템이 새로운 레시피에 일반화하지 못하는 한계를 극복하는 것.
• 훈련 중에 볼 수 없었던 요리의 재료를 예측할 수 있는 방법을 개발하는 것. 이는 다중 레이블 학습 기반으로 수행된다.
• 음식 재료 인식 연구를 지원하기 위해 두 개의 새로운 데이터셋을 구축하고 공개하는 것.
• 시각화 기법을 통해 딥 네ural 네트워크 뉴런이 특정 재료를 감지하도록 특화되는 방식을 연구하는 것.

제안 방법

• 교차 엔트로피 손실 함수를 사용하여 사전 훈련된 ImageNet 모델(InceptionV3 및 ResNet50)을 다중 레이블 분류에 대해 미세조정한다.
• CNN의 최종 완전히 연결된 레이어를 수정하여 각 재료의 존재/부재 여부를 나타내는 이진 벡터를 출력하도록 한다.
• 다양한 음식 이미지와 그에 해당하는 재료 목록을 함께 훈련시켜 일반화 능력을 향상시킨다.
• 뉴런 활성화를 해석하고 특정 재료를 감지하는 데 특화된 뉴런이 어떤지 분석하기 위해 시각화 기법을 적용한다.
• 두 개의 데이터셋을 사용한다: 101종의 재료와 10,000장의 이미지로 구성된 Ingredients101, 그리고 5,000개의 레시피와 50,000장의 이미지로 구성된 Recipes5k. 이들은 세분화된 재료 목록과 단순화된 재료 목록을 모두 포함한다.
• F1 점수, 정밀도, 재현율을 사용하여 모델 성능을 평가하며, 훈련된 데이터와 새로운 데이터에서의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 다중 레이블 딥 러닝 모델이 훈련 중에 본 적이 없는 레시피의 재료를 일반화하여 인식할 수 있는가?
• RQ2 재료와 레시피의 다양성이 높은 데이터셋에서 훈련할 경우, 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 시각적으로 두드러지지 않는 재료라도, CNN의 개별 뉴런이 특정 재료를 감지하도록 특화되는 정도는 어느 정도인가?
• RQ4 모델은 시각적 특징만으로 보이지 않거나 미묘하게 표현된 재료의 존재를 추론할 수 있는가?
• RQ5 훈련 및 평가 시 재료 목록을 단순화할 경우, 모델의 성능과 내구성에 어떤 영향을 미치는가?

주요 결과

• 다양한 Ingredients101 데이터셋으로 훈련한 모델은 단순화된 Recipes5k 데이터셋에서 새로운 레시피에 대해 F1 점수가 40%를 초과하여 강력한 일반화 성능을 보였다.
• 고변동성 데이터셋(예: Ingredients101)에서 훈련된 모델는 제한된 또는 특정 데이터에서 훈련된 모델보다 새로운 레시피에 훨씬 더 잘 일반화된다.
• 뉴런 활성화의 시각화 결과는 특정 뉴런이 특정 재료를 감지하도록 특화되어 있음을 보여주며, 예를 들어 햄버거에서 상추나 마요네즈에 반응하는 뉴런, 또는 크렘 브류레에 당근을 감지하는 뉴런 등이다.
• 모델는 재료의 의미적 임베딩을 학습하여, 참조값에 하나의 변형만 존재하더라도 '계란', '비린 계란'과 같은 세분화된 유사한 변형들을 그룹으로 예측할 수 있다.
• 모델는 시각적 단서만으로 보이지 않는 재료(예: 베이킹 디저트에 들어간 설탕)의 존재를 성공적으로 추론하여, 재료 조합의 강력한 추상화 능력을 보였다.
• 훈련 시 재료 목록을 단순화하면 F1 점수가 47.5%까지 향상되어, 레이블 복잡도를 낮추는 것이 모델 성능 향상에 기여하며, 세분화된 인식 능력을 유지하는 데도 유리함을 보였다.