[논문 리뷰] FoodTracker: A Real-time Food Detection Mobile Application by Deep Convolutional Neural Networks

Jianing Sun, Katarzyna Radecka외 1명|arXiv (Cornell University)|2019. 09. 13.

Nutritional Studies and Diet참고 문헌 20인용 수 17

한 줄 요약

FoodTracker는 깊이 분리형 컨볼루션을 사용하는 경량 YOLOv2 기반 딥 컨volution 네트워크(DCNN)를 활용하여 한 장의 이미지에서 다중 음식 항목을 실시간으로 감지하는 모바일 애플리케이션을 제안한다. 이는 평균 정밀도(mAP) 80%를 달성한다. 시스템은 완전히 디바이스 내부에서 작동하며, 벽시계 기반 추론 시간은 75ms, 모델 크기는 8.1MB이다. 각 감지된 음식 항목에 대해 API 통합을 통해 영양 정보를 제공한다.

ABSTRACT

We present a mobile application made to recognize food items of multi-object meal from a single image in real-time, and then return the nutrition facts with components and approximate amounts. Our work is organized in two parts. First, we build a deep convolutional neural network merging with YOLO, a state-of-the-art detection strategy, to achieve simultaneous multi-object recognition and localization with nearly 80% mean average precision. Second, we adapt our model into a mobile application with extending function for nutrition analysis. After inferring and decoding the model output in the app side, we present detection results that include bounding box position and class label in either real-time or local mode. Our model is well-suited for mobile devices with negligible inference time and small memory requirements with a deep learning algorithm.

연구 동기 및 목표

• 수동적인 음식 일기 기록을 제거하는 실시간, 디바이스 내부에서 작동하는 음식 감지 시스템을 개발하는 것.
• 높은 정확도로 자연스러운 식사 이미지에서 다중 객체 음식 인식 및 국소화를 가능하게 하는 것.
• 감지된 음식 레이블을 사용해 글로벌 데이터베이스에서 영양 정보 검색을 통합하는 것.
• 최소한의 지연과 메모리 사용량으로 모바일 배포를 위한 딥 러닝 추론을 최적화하는 것.
• 하나의 모바일 애플리케이션에서 실시간 카메라 입력과 로컬 이미지 분석을 모두 지원하는 것.

제안 방법

• 시스템은 실시간 객체 감지를 가능하게 하기 위해 MobileNet 백본을 사용하는 YOLOv2 기반 DCNN 아키텍처를 사용한다.
• 깊이 분리형 컨볼루션은 표준 컨볼루션 대비 계산량과 파라미터 수를 최대 8~9배 감소시킨다.
• 모델은 각각 100개와 256개의 음식 카테고리로 구성된 UECFood100 및 UECFood256 데이터셋으로 훈련된다.
• 겹치는 경계 상자들을 제거하기 위해 비최대 억제(NMS) 기법이 적용되며, IoU 임계값은 30% 초과이다.
• 추론은 원격 서버 의존 없이 TensorFlow Java API를 사용해 모바일 기기 내부에서 현장에서 수행된다.
• 영양 정보는 감지된 음식 클래스 레이블을 사용해 Nutritionix API를 통해 검색된다.

실험 결과

연구 질문

• RQ1 경량 딥 러닝 모델이 모바일 기기에서 실시간으로 높은 정확도의 음식 감지를 달성할 수 있는가?
• RQ2 깊이 분리형 컨볼루션은 감지 성능을 희생시키지 않고 모델 크기와 추론 시간을 어떻게 줄일 수 있는가?
• RQ3 모바일 애플리케이션은 글로벌 데이터베이스에서 실시간 영양 정보 검색과 음식 감지를 어떻게 통합할 수 있는가?
• RQ4 실제 식사 이미지에 대해 디바이스 내부 추론의 지연과 메모리 사용량 측면에서 성능은 어떠한가?
• RQ5 복잡한 실제 식사 환경에서 다중 음식 항목 감지에 대해 시스템은 얼마나 효과적인가?

주요 결과

• FoodTracker 모델은 UECFood100 및 UECFood256 벤치마크에서 평균 정밀도(mAP) 80%를 달성한다.
• 시스템은 Google Pixel 2 기기에서 벽시계 기반 추론 시간 75ms, CPU 시간 15ms를 기록한다.
• DCNN 모델 크기는 단지 8.1MB이며, 모바일 기기에서 런타임 메모리 사용량은 242.2MB이다.
• 애플리케이션은 서버 측 계산이 필요 없이 실시간 카메라 기반 감지와 로컬 이미지 분석을 모두 지원한다.
• Nutritionix API를 통해 각 감지된 음식 항목에 대해 영양 정보가 성공적으로 검색되어 자동 식사 로깅이 가능해진다.
• 깊이 분리형 컨볼루션의 사용으로 표준 컨볼루션 대비 계산 비용이 9배 감소하였으며, 정확도 손실는 최소한이다.