[論文レビュー] Multi-Task Image-Based Dietary Assessment for Food Recognition and Portion Size Estimation

Jiangpeng He, Zeman Shao+4 more|arXiv (Cornell University)|Apr 27, 2020

Nutritional Studies and Diet参考文献 27被引用数 5

ひとこと要約

本論文は、L2ノルムに基づくソフトパラメータ共有と正規化を用いたクロスドメイン特徴抽出を活用し、1枚の画像から同時に食品分類と容量推定を実行するエンドツーエンドのマルチタスク深層学習フレームワークを提案する。この手法は最先端の性能を達成し、正しく分類された食品の平均絶対誤差（MAE）を50.86 Kcalにまで低減し、人間の推定より28.57%の誤差低減を達成した。

ABSTRACT

Deep learning based methods have achieved impressive results in many applications for image-based diet assessment such as food classification and food portion size estimation. However, existing methods only focus on one task at a time, making it difficult to apply in real life when multiple tasks need to be processed together. In this work, we propose an end-to-end multi-task framework that can achieve both food classification and food portion size estimation. We introduce a food image dataset collected from a nutrition study where the groundtruth food portion is provided by registered dietitians. The multi-task learning uses L2-norm based soft parameter sharing to train the classification and regression tasks simultaneously. We also propose the use of cross-domain feature adaptation together with normalization to further improve the performance of food portion size estimation. Our results outperforms the baseline methods for both classification accuracy and mean absolute error for portion estimation, which shows great potential for advancing the field of image-based dietary assessment.

研究の動機と目的

• 単一画像から同時に食品分類と容量推定を実行するエンドツーエンドのマルチタスク学習フレームワークの開発。
• 既存の単一タスク手法では、実世界の食事評価システムに効率的に統合できないという制限を克服すること。
• 食品分類からの知識を活用することで、クロスドメイン特徴抽出を用いて容量推定の精度を向上させること。
• 正規化手法（LN、BN）が、同時回帰と分類タスクにおける誤差低減に与える影響を調査すること。
• 登録栄養士がアノテートした真値の食品カテゴリと容量を備えた、新たな実世界データセットの作成と公開。

提案手法

• 分類と回帰のネットワークの下位層に、L2ノルムに基づくソフトパラメータ共有を用いて正則化し、共有特徴空間を強制せずに知識移行を可能にする。
• 分類ブランチと回帰ブランチの特徴ベクトルを連結することで、食品カテゴリの事前知識を活用したクロスドメイン特徴抽出を実施し、容量推定を支援する。
• 層正規化（LN）とミニバッチ正規化（BN）を用いて、ドメイン間の特徴分布を揃え、回帰性能を向上させる。
• Adam最適化アルゴリズムを用い、100エポックにわたり18層のResNetベースのモデルを学習し、学習率スケジューリングにコサインスケジューリングと重み減衰を適用する。
• 分類精度と容量推定誤差のバランスを取るために、MCCR（正しく分類された割合に対するMAE）という新しい評価指標を導入する。
• 登録栄養士が提供する真値の容量を備えた、新たな食事摂取イベントデータセットを収集し、容量推定の現実的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクフレームワークにおけるソフトパラメータ共有は、単一タスクベースラインと比較して、食品分類の精度と容量推定誤差の両方を向上させることができるか？
• RQ2 分類ブランチと回帰ブランチ間のクロスドメイン特徴抽出は、容量推定性能を向上させるか？
• RQ3 異なる正規化手法（LN、BN、LN+BN）は、マルチタスクネットワークの性能にどのように影響するか？
• RQ4 提案されたマルチタスクフレームワークは、人間の推定を上回る容量推定性能を示せるか？
• RQ5 共有された下位層正則化を用いた共同学習は、画像ベースの食事評価における一般化性能をどの程度向上させるか？

主な発見

• 提案されたマルチタスクフレームワークは、全食品に対して分類精度88.67%、容量推定のMAEが56.82 Kcalを達成し、単一タスクベースライン（86.08%、62.27 Kcal）を上回った。
• 正しく分類された食品では、MAEが50.86 Kcalにまで低減され、特徴抽出と正規化を組み合わせた共同学習の利点が明確に示された。
• LN+BN正規化の組み合わせが最良の性能を示し、個別正規化や正規化なしと比較してMAEが顕著に低減された。
• 正規化を伴うクロスドメイン特徴抽出は、正規化なしの特徴連結と比較して、MAEを11.5%低減し、ドメイン整合性向上の有効性を裏付けた。
• 人間の推定と比較して、誤差率を45.43%（人間）から16.83%（モデル）にまで低減し、容量推定の精度が優れていることを示した。
• MCCR指標により、分類が正しければモデルの容量推定がより信頼性が高くなることが確認され、マルチタスクアプローチの整合性が裏付けられた。