[논문 리뷰] Eating Smart: Advancing Health Informatics with the Grounding DINO-based Dietary Assistant App

Abdelilah Nossair, Hamza El Housni|arXiv (Cornell University)|2024. 06. 21.

Mobile Health and mHealth Applications인용 수 1

한 줄 요약

이 논문은 스마트 식이 보조 앱을 제시하며, 레이블이 부여된 데이터셋이 필요 없이 스마트폰 이미지에서 식재료를 식별할 수 있는 Grounding DINO 모델의 제로샷 객체 검출 기능을 활용한 모바일 헬스 솔루션을 제공한다. 앱은 자체 호스팅된 PostgreSQL 데이터베이스를 사용해 안전하고 비공개적인 데이터 저장을 구현하며, 개인화된 식이 조언을 제공하여 식별 정확도가 92.30% F1 스코어를 기록했으며, 사용자 만족도도 높아 NPS 41.3을 기록했다.

ABSTRACT

Abstract: The Smart Dietary Assistant project combines technology and Machine Learning (ML) to offer personalized advice for people with dietary concerns such as diabetes. This approach focuses on the user helping them make decisions about their diet using the Grounding DINO model. Grounding DINO uses a text encoder and image backbone to improve detection accuracy without relying on a labeled dataset making it practical for real world situations with various food types. This model uses a 52.5 AP score on the COCO dataset and attention mechanisms that leverage features based on user-provided labels and food images to allow precise object recognition. The feature is at the core of the user app, turning smartphones into a helpful dietary advisor that enables people to manage their health effectively. The app can use your device camera to take photos that will be analyzed by the model for detection and categorize the food items correctly. This is what differs in this system: it decides to be free and not to be connected to annoying cloud databases of information. The application uses a database managed by itself that is of PostgreSQL type, ensuring the preservation of data integrity and control. This database hosting information includes all types of food products, from profiles to health insights drawn from their consumption by human beings. This helps in effective and efficient data access speed, reliability, and enhances user privacy through localized storage within the organizational infrastructure. The app focuses on improving the experiences of the users, considering that it allows them to create profiles through which they describe themselves based on preferences and tips on nutrition. In addition to calories information, the app provides insights to nutrients such as proteins, vitamins, and minerals. This makes it possible for one to decide the kind of food to take, either for weight management, muscle building, or managing health conditions. On the other part, it also assesses food compatibility versus profiles and gives personal recommendations for alternatives and recipes. Such kind of personal help is highly convenient for persons with needs as it helps them take their healthy options confidently. Developed using React Native and TypeScript, the Smart Dietary Assistant app guarantees operation across devices and platforms. It incorporates technologies beyond modeling to ensure optimal performance in food recognition, scalability for future enhancements and seamless integration, with other dietary tools. Users have the option to enjoy features like using the camera to scan food items, for tracking habits and receiving insightful analysis. They can also interact with an assistant for recommendations. The protection of data is ensured through user authentication whereas customizable settings enhance the user experience. React Native enables smooth screen transitions. The expo camera allows scanning capabilities. Local storage efficiently manages data to create an easy/appealing to use interface. The Smart Dietary Assistant app’s interface stands out for striking a balance between aesthetics and usability. The use of buttons, and a vibrant color scheme enhances user experience by making navigation and feature selection simple. The chatbot feature, represented by an avatar encourages user engagement and personalized guidance seeking. Users find camera scanning convenient although it is noted that varying lighting conditions may affect accuracy. It is this appreciation that opened doors to improvement that can guarantee success in all situations. The choice of a self-hosted PostgreSQL database for this project re-emphasizes its importance in the realms of health informatics and nutritional science. This is data that can be stored without really depending on outside cloud services, and just with that, the same can be retained as reliable information, since there are chances that it can be changed from the outside. In the future, the Smart Dietary Assistant is planned to be empowered with collaboration with devices. With this development, the application can sync with fitness trackers and smartwatches to give time-based suggestions from physiological data such as blood sugar level and calories burnt. This will connect users to devices that give them individualized advice regarding their health needs, depending on the style of activity. The application is open to collaborations with AI-powered tools in the development of personalized recipes and meal plans that would give the user an easy time adhering to his preferences, dietary restrictions, and time-in sync physiological information. With conditions like diabetes, this holistic approach to diet management is deemed beneficial because it would make the app utilities more effective, always supports objectives for weight management or muscle building, and therefore supports the overall well-being of the user. Key words: Food Image Recognition, Machine Learning in Nutrition, Zero-Shot Object Detection.

연구 동기 및 목표

• 당뇨병과 같은 식이 질환을 앓는 환자를 지원하기 위해 현장에서 작동하는 AI를 활용해 실시간으로 정확한 식품 인식이 가능한 모바일 식이 보조기를 개발하는 것.
• 클라우드 기반 저장소에 의존하지 않고 자체 호스팅된 PostgreSQL 데이터베이스를 구현해 사용자 데이터의 기밀성을 확보하는 것.
• 사용자 프로필과 실시간 이미지 입력 기반으로 칼로리, 균형 영양소 및 식품 조합 정보를 포함한 개인화된 영양 정보를 제공하는 것.
• 채팅봇 보조자와 카메라 기반 식품 스캔 기능을 통합한 직관적인 인터페이스를 통해 사용자 참여도를 높이는 것.
• 향후 웨어러블 기기와의 통합을 통해 시간 정확도가 높고 신체 상태를 반영한 식이 조언을 제공할 수 있도록 하는 것.

제안 방법

• CLIP 기반 텍스트 인코더와 시각 백본을 결합한 비전-언어 모델인 Grounding DINO 모델을 활용해 제로샷 객체 검출을 수행한다.
• 주의 메커니즘을 적용해 시각적 특징을 사용자가 제공한 텍스트 레이블과 정렬함으로써, 레이블이 부여된 식품 데이터셋에 대한 미세조정 없이도 검출 기능을 수행한다.
• 사용자 프로필, 식품 데이터, 영양 정보를 저장하기 위해 로컬 PostgreSQL 데이터베이스를 구현하여 데이터 무결성과 기밀성을 확보한다.
• React Native와 TypeScript를 사용해 크로스 플랫폼 호환성을 확보하고, Expo의 카메라 통합 기능을 통해 부드러운 UI/UX를 제공한다.
• 실생활 조건에서 다양한 식품 유형에 대한 일반화 능력을 향상시키기 위해 COCO 데이터셋(52.5 AP)에서 전이 학습을 적용한다.
• 의료 데이터 기밀성 기준을 충족하기 위해 사용자 인증 및 안전한 데이터 처리 프로토콜을 통합한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 식품 데이터에 대해 미세조정 없이도 Grounding DINO와 같은 제로샷 객체 검출 모델이 실생활 스마트폰 이미지에서 다양한 식재료를 효과적으로 식별할 수 있는가?
• RQ2 자체 호스팅된 데이터베이스 아키텍처가 모바일 식이 보조 앱에서 데이터 기밀성, 무결성 및 성능에 어떤 영향을 미치는가?
• RQ3 앱의 개인화된 추천 엔진이 당뇨병과 같은 질환을 앓는 사용자의 사용자 참여도와 식이 결정보다 향상시키는 데 얼마나 기여하는가?
• RQ4 1,589장의 이미지로 구성된 검증 세트에서 식품 인식 성능을 정밀도, 재현율 및 F1 스코어 측면에서 평가하면 어떻게 되는가?
• RQ5 사용자들은 실생활 사용에서 앱의 사용성, 정확도 및 추천 가능성에 대해 어떻게 평가하는가?

주요 결과

• 검증 세트 1,589장의 이미지에서 모델은 92.30%의 F1 스코어를 기록했으며, 정밀도(90.79%)와 재현율(93.84%) 간 균형이 잘 잡혀 있음을 보여주었다.
• 앱은 넷 프로모터 스코어(NPS) 41.3을 기록해 높은 사용자 만족도와 사용자 추천 가능성의 강한 신호를 나타냈다.
• 전체 1,589장의 이미지 중 1,144장(72.0%)이 목표 식재료를 포함하고 있음을 정확히 식별했으며, 254장은 비목표로 정확히 거부했다.
• 거짓 양성은 총 116건(전체의 7.3%) 발생했고, 75개 식품 항목이 누락(전체의 4.7%)되어 희귀하거나 모호한 식품 카테고리에서의 과제가 있음을 시사했다.
• 사용자 피드백은 인터페이스, 카메라 스캔 기능, 개인화된 추천에 대해 높은 만족도를 확인했다.
• 앱의 자체 호스팅된 PostgreSQL 데이터베이스는 외부 클라우드 서비스에 의존하지 않고도 안전하고 기밀성 있고 신뢰할 수 있는 데이터 관리를 보장했다.