[論文レビュー] FoodTracker: A Real-time Food Detection Mobile Application by Deep Convolutional Neural Networks

Jianing Sun, Katarzyna Radecka+1 more|arXiv (Cornell University)|Sep 13, 2019

Nutritional Studies and Diet参考文献 20被引用数 17

ひとこと要約

FoodTrackerは、深層畳み込みニューラルネットワーク（DCNN）に、軽量なYOLOv2ベースのアーキテクチャと深度分離畳み込みを組み合わせたリアルタイムモバイルアプリケーションを提案する。1枚の画像内で複数の食品を検出でき、平均平均精度（mAP）が80%に達する。システムは完全にデバイス内での処理を実現し、75msのウォールクロック推論時間と8.1MBのモデルサイズを達成。各検出された食品項目に対してAPI統合により栄養情報が提供される。

ABSTRACT

We present a mobile application made to recognize food items of multi-object meal from a single image in real-time, and then return the nutrition facts with components and approximate amounts. Our work is organized in two parts. First, we build a deep convolutional neural network merging with YOLO, a state-of-the-art detection strategy, to achieve simultaneous multi-object recognition and localization with nearly 80% mean average precision. Second, we adapt our model into a mobile application with extending function for nutrition analysis. After inferring and decoding the model output in the app side, we present detection results that include bounding box position and class label in either real-time or local mode. Our model is well-suited for mobile devices with negligible inference time and small memory requirements with a deep learning algorithm.

研究の動機と目的

• 手動による食品日記の記録を排除するリアルタイムでデバイス内での食品検出システムの開発。
• 自然な食事画像において、高精度で複数の食品を同時に認識・位置特定する機能の実現。
• 検出された食品ラベルを用いて、グローバルデータベースから栄養情報の取得を統合する。
• 最小限の遅延とメモリ使用量で、モバイルデバイスへのディープラーニング推論の最適化。
• 1つのモバイルアプリケーション内で、リアルタイムのカメラ入力とローカル画像解析の両方をサポートする。

提案手法

• システムは、リアルタイムオブジェクト検出を可能にする、MobileNetバックボーンを備えたYOLOv2ベースのDCNNアーキテクチャを採用。
• 深度分離畳み込みにより、標準畳み込みと比較して計算量とパラメータ数を最大8〜9倍まで削減。
• 100および256の食品カテゴリを有するUECFood100およびUECFood256データセットを用いてモデルを学習。
• 重複するバウンディングボックスを除去するため、IoU閾値30%以上のものに対して非最大抑制（NMS）を適用。
• 推論処理は、リモートサーバーへの依存なしに、モバイルデバイス上でTensorFlow Java APIを用いてローカルで実行。
• 栄養情報は、検出された食品クラスラベルを用いてNutritionix APIを通じて取得。

実験結果

リサーチクエスチョン

• RQ1 軽量なディープラーニングモデルは、モバイルデバイス上でリアルタイムに高精度な食品検出を達成できるか？
• RQ2 深度分離畳み込みを用いることで、検出性能を損なわず、モデルサイズと推論時間をどのように削減できるか？
• RQ3 モバイルアプリケーションは、グローバルデータベースからのリアルタイム栄養情報取得と食品検出を統合できるか？
• RQ4 実世界の食事画像に対して、デバイス内推論の遅延とメモリ使用量はどの程度の性能を示すか？
• RQ5 複雑な現実の食事シーンにおいて、複数の食品アイテムを効果的に検出できるか？

主な発見

• FoodTrackerモデルは、UECFood100およびUECFood256ベンチマークで80%の平均平均精度（mAP）を達成。
• Google Pixel 2端末では、75msのウォールクロック推論時間と、1枚あたり15msのCPU時間（推論時間）を達成。
• DCNNモデルサイズはわずか8.1MBであり、モバイルデバイス上での実行時メモリ使用量は242.2MB。
• サーバー側計算を必要とせず、リアルタイムのカメラベース検出とローカル画像解析の両方をアプリケーションがサポート。
• Nutritionix APIを介して、各検出食品項目の栄養情報が正常に取得され、自動的な食事ログ記録が可能に。
• 深度分離畳み込みの活用により、標準畳み込みと比較して計算コストが9倍削減され、精度の損失は最小限に抑えられた。