[論文レビュー] Eating Smart: Advancing Health Informatics with the Grounding DINO-based Dietary Assistant App

Abdelilah Nossair, Hamza El Housni|arXiv (Cornell University)|Jun 21, 2024

Mobile Health and mHealth Applications被引用数 1

ひとこと要約

本論文では、スマートフォンの画像から食物を識別するために、ラベル付きデータセットを必要としないゼロショットオブジェクト検出機能を活用するモバイルヘルスソリューション「スマート食事アシスタント」アプリを提示する。このアプリは、プライベートで安全なデータストレージを実現する自社ホスティング型PostgreSQLデータベースを採用し、個別化された食事アドバイスを提供する。食物認識のF1スコアは92.30%を達成し、ユーザー満足度も高く（NPS 41.3）、実用的応用において優れた性能を示している。

ABSTRACT

Abstract: The Smart Dietary Assistant project combines technology and Machine Learning (ML) to offer personalized advice for people with dietary concerns such as diabetes. This approach focuses on the user helping them make decisions about their diet using the Grounding DINO model. Grounding DINO uses a text encoder and image backbone to improve detection accuracy without relying on a labeled dataset making it practical for real world situations with various food types. This model uses a 52.5 AP score on the COCO dataset and attention mechanisms that leverage features based on user-provided labels and food images to allow precise object recognition. The feature is at the core of the user app, turning smartphones into a helpful dietary advisor that enables people to manage their health effectively. The app can use your device camera to take photos that will be analyzed by the model for detection and categorize the food items correctly. This is what differs in this system: it decides to be free and not to be connected to annoying cloud databases of information. The application uses a database managed by itself that is of PostgreSQL type, ensuring the preservation of data integrity and control. This database hosting information includes all types of food products, from profiles to health insights drawn from their consumption by human beings. This helps in effective and efficient data access speed, reliability, and enhances user privacy through localized storage within the organizational infrastructure. The app focuses on improving the experiences of the users, considering that it allows them to create profiles through which they describe themselves based on preferences and tips on nutrition. In addition to calories information, the app provides insights to nutrients such as proteins, vitamins, and minerals. This makes it possible for one to decide the kind of food to take, either for weight management, muscle building, or managing health conditions. On the other part, it also assesses food compatibility versus profiles and gives personal recommendations for alternatives and recipes. Such kind of personal help is highly convenient for persons with needs as it helps them take their healthy options confidently. Developed using React Native and TypeScript, the Smart Dietary Assistant app guarantees operation across devices and platforms. It incorporates technologies beyond modeling to ensure optimal performance in food recognition, scalability for future enhancements and seamless integration, with other dietary tools. Users have the option to enjoy features like using the camera to scan food items, for tracking habits and receiving insightful analysis. They can also interact with an assistant for recommendations. The protection of data is ensured through user authentication whereas customizable settings enhance the user experience. React Native enables smooth screen transitions. The expo camera allows scanning capabilities. Local storage efficiently manages data to create an easy/appealing to use interface. The Smart Dietary Assistant app’s interface stands out for striking a balance between aesthetics and usability. The use of buttons, and a vibrant color scheme enhances user experience by making navigation and feature selection simple. The chatbot feature, represented by an avatar encourages user engagement and personalized guidance seeking. Users find camera scanning convenient although it is noted that varying lighting conditions may affect accuracy. It is this appreciation that opened doors to improvement that can guarantee success in all situations. The choice of a self-hosted PostgreSQL database for this project re-emphasizes its importance in the realms of health informatics and nutritional science. This is data that can be stored without really depending on outside cloud services, and just with that, the same can be retained as reliable information, since there are chances that it can be changed from the outside. In the future, the Smart Dietary Assistant is planned to be empowered with collaboration with devices. With this development, the application can sync with fitness trackers and smartwatches to give time-based suggestions from physiological data such as blood sugar level and calories burnt. This will connect users to devices that give them individualized advice regarding their health needs, depending on the style of activity. The application is open to collaborations with AI-powered tools in the development of personalized recipes and meal plans that would give the user an easy time adhering to his preferences, dietary restrictions, and time-in sync physiological information. With conditions like diabetes, this holistic approach to diet management is deemed beneficial because it would make the app utilities more effective, always supports objectives for weight management or muscle building, and therefore supports the overall well-being of the user. Key words: Food Image Recognition, Machine Learning in Nutrition, Zero-Shot Object Detection.

研究の動機と目的

• 糖尿病などの食事制限が必要なユーザーを支援するため、デバイス内AIを活用したリアルタイムで高精度な食物認識を実現するモバイル食事アシスタントの開発。
• クラウドベースのストレージに依存せず、自社ホスティング型PostgreSQLデータベースを採用することで、ユーザーのデータプライバシーを確保すること。
• ユーザーのプロファイルとリアルタイムの画像入力をもとに、カロリー、マクロ Nutrients（栄養素）、食物の相性といった個別化された栄養インサイトを提供すること。
• チャットボットアシスタントとカメラベースの食物スキャン機能を備えた直感的なインターフェースにより、ユーザーの関与度を向上させること。
• 将来的にウェアラブルデバイスと統合し、時間的正確で生体情報に基づいた食事アドバイスを可能にすること。

提案手法

• CLIPベースのテキストエンコーダーとビジョンバックボーンを統合した視覚言語モデルであるGrounding DINOモデルを採用し、ゼロショットオブジェクト検出を実現。
• 視覚特徴とユーザーが入力したテキストラベルをアテンション機構で一致させることで、ラベル付き食物データセットでの微調整なしに検出を可能にする。
• ユーザーのプロファイル、食物データ、栄養インサイトを格納するため、ローカルのPostgreSQLデータベースを導入し、データの整合性とプライバシーを確保。
• React NativeとTypeScriptを用いてアプリを開発し、Expoのカメラ統合によりクロスプラットフォーム互換性と滑らかなUI/UXを実現。
• COCOデータセット（52.5 AP）からのトランスファーラーニングを適用することで、実世界の多様な食物タイプへの汎化性能を向上。
• 健康データのプライバシー基準を満たすために、ユーザー認証とセキュアなデータ処理プロトコルを統合。

実験結果

リサーチクエスチョン

• RQ1 Grounding DINOのようなゼロショットオブジェクト検出モデルは、ラベル付き食物データで微調整を行わずに、スマートフォン画像における多様な食物を実世界の状況で効果的に認識できるか？
• RQ2 自社ホスティング型データベースアーキテクチャは、モバイル食事アシスタントアプリケーションにおけるデータプライバシー、整合性、パフォーマンスにどのように影響を与えるか？
• RQ3 アプリの個別化されたレコメンデーションエンジンは、糖尿病などの疾患を有するユーザーのエンゲージメントと食事意思決定にどの程度向上効果をもたらすか？
• RQ4 1,589枚の画像からなる検証セットにおいて、モデルの正確性（精度）、再現率、F1スコアはそれぞれどの程度の水準にあるか？
• RQ5 ユーザーは、実世界での使用において、アプリの使いやすさ、正確性、および推奨の可能性について、どの程度高く評価しているか？

主な発見

• 検証セット1,589枚の画像において、モデルはF1スコア92.30%を達成し、精度（90.79%）と再現率（93.84%）のバランスが良好であることが示された。
• アプリはNet Promoter Score（NPS）41.3を達成し、ユーザー満足度が高く、ユーザーの推奨意欲も強いことが示された。
• 1,589枚の画像のうち1,144枚（72.0%）が、ターゲット食物アイテムを正しく検出しており、254枚が非ターゲットとして正しく除外された。
• 誤検出（フォールス・ポジティブ）は116件（全件数の7.3%）発生し、75個の食物アイテムが見逃された（全件数の4.7%）ことから、希少または曖昧な食物カテゴリでは課題が残っていることが判明。
• ユーザーのフィードバックから、インターフェース、カメラスキャン機能、個別化されたレコメンデーションのすべてにおいて高い満足度が確認された。
• 自社ホスティング型PostgreSQLデータベースにより、外部クラウドサービスへの依存なしに、安全でプライベートかつ信頼性の高いデータ管理が実現された。