[論文レビュー] Fully-Automatic Semantic Segmentation for Food Intake Tracking in Long-Term Care Homes.

Kaylen J. Pfisterer, Robert Amelard+4 more|arXiv (Cornell University)|Oct 24, 2019

Nutritional Studies and Diet参考文献 31被引用数 5

ひとこと要約

本論文では、長期介護（LTC）環境における食事の写真における食品ピクセルを分類するために、マルチスケールエンコーダ・デコーダアーキテクチャを備えた深層畳み込みニューラルネットワーク（DCNN）を用いた完全自動のセマンティックセグメンテーション手法を提案する。UNIMIB 2016データセットで学習し、新規のLTC用プレートデータセットでテストした結果、交差和分（IoU）が91.2%に達し、ユーザーによるアノテーションを不要とすることで半自動のグラフカット手法と同等の性能を達成するとともに、エラーの一貫性が向上した。

ABSTRACT

Malnutrition impacts quality of life and places annually-recurring burden on the health care system. Half of older adults are at risk for malnutrition in long-term care (LTC). Monitoring and measuring nutritional intake is paramount yet involves time-consuming and subjective visual assessment, limiting current methods' reliability. The opportunity for automatic image-based estimation exists. Some progress outside LTC has been made (e.g., calories consumed, food classification), however, these methods have not been implemented in LTC, potentially due to a lack of ability to independently evaluate automatic segmentation methods within the intake estimation pipeline. Here, we propose and evaluate a novel fully-automatic semantic segmentation method for pixel-level classification of food on a plate using a deep convolutional neural network (DCNN). The macroarchitecture of the DCNN is a multi-scale encoder-decoder food network (EDFN) architecture comprising a residual encoder microarchitecture, a pyramid scene parsing decoder microarchitecture, and a specialized per-pixel food/no-food classification layer. The network was trained and validated on the pre-labelled UNIMIB 2016 food dataset (1027 tray images, 73 categories), and tested on our novel LTC plate dataset (390 plate images, 9 categories). Our fully-automatic segmentation method attained similar intersection over union to the semi-automatic graph cuts (91.2% vs. 93.7%). Advantages of our proposed system include: testing on a novel dataset, decoupled error analysis, no user-initiated annotations, with similar segmentation accuracy and enhanced reliability in terms of types of segmentation errors. This may address several short-comings currently limiting utility of automated food intake tracking in time-constrained LTC and hospital settings.

研究の動機と目的

• 長期介護（LTC）環境における食事摂取量をモニタリングするための信頼性の高い自動化ツールの不足に対処すること。
• ユーザーによるアノテーションを一切不要とする完全自動のセマンティックセグメンテーションシステムの開発。
• 新規のLTC専用プレート画像データセットを用いたセグメンテーション性能の評価。
• 臨床現場への導入における信頼性の向上を目的とした分離型エラー分析の実現。
• 時間制約のある医療環境における自動食事摂取量追跡の実用性の向上。

提案手法

• マルチスケールエンコーダ・デコーダ食品ネットワーク（EDFN）アーキテクチャを採用し、リーダンスエンコーダとピラミッドシーンパーサー・デコーダーを統合する。
• ピクセル単位の分類層を用いて、プレート上の食品領域と非食品領域を区別する。
• 教師あり学習を用いて、事前にラベルが付与されたUNIMIB 2016データセット（1027枚のトレイ画像、73カテゴリー）でモデルを学習する。
• 実世界の性能評価を目的として、新規のLTCプレートデータセット（390枚の画像、9カテゴリー）を用いてテストを実施する。
• アーキテクチャによりマルチスケール特徴量の学習が可能となり、複雑な食品配置におけるセグメンテーション精度が向上する。
• 推論段階ではユーザーの操作が一切不要であり、臨床ワークフローにおける完全自動運用が可能となる。

実験結果

リサーチクエスチョン

• RQ1 完全自動のセマンティックセグメンテーションモデルは、半自動手法と同等の精度を達成できるか？
• RQ2 提案手法は、既存のベンチマークと比較して、新規のLTC専用画像データセットでどの程度の性能を示すか？
• RQ3 モデルが生成するセグメンテーションエラーの種類は何か？また、半自動手法とどのように異なるか？
• RQ4 ユーザーによるアノテーションなしで、臨床現場における高い信頼性を維持したまま導入可能か？
• RQ5 分離型エラー分析により、従来手法と比較してエラーのパターンに体系的な改善が見られるか？

主な発見

• 提案された完全自動手法は、新規のLTCプレートデータセットで91.2%の交差和分（IoU）を達成した。
• この性能は、同じテストセットで93.7%のIoUを達成した半自動のグラフカット手法と同等である。
• ユーザーによるアノテーションの必要がなくなることで、スケーラビリティと運用効率が向上した。
• エラー分析の結果、半自動手法と比較してより一貫性があり、予測可能なセグメンテーションエラーのパターンが明らかになった。
• モデルは、9種類の食品カテゴリーに限定されるが多様な組み合わせを含む実世界のLTC環境にも効果的に一般化でき、耐障害性を示した。
• 結果から、時間制約のある医療環境において、完全自動のセマンティックセグメンテーションが、手動または半自動的手法の信頼できる代替手段である可能性が示唆された。