[論文レビュー] ISIA Food-500: A Dataset for Large-Scale Food Recognition via Stacked Global-Local Attention Network

Weiqing Min, Linhu Liu+5 more|arXiv (Cornell University)|Aug 13, 2020

Nutritional Studies and Diet参考文献 56被引用数 15

ひとこと要約

本稿では、500カテゴリおよび399,726枚の画像を有する大規模な食品認識データセットであるISIA Food-500を紹介し、ハイブリッド空間チャネルアテンションと段階的な空間トランスフォーマーを用いて、補完的なグローバルおよびローカル特徴を共同で学習するスタックドグローバルローカルアテンションネットワーク（SGLANet）を提案する。SGLANetはISIA Food-500で最先端の性能を達成し、ETHZ Food-101およびVireo Food-172に対しても良好な一般化性能を示し、大規模な食品認識における強力な転移可能性と頑健性を実証している。

ABSTRACT

Food recognition has received more and more attention in the multimedia community for its various real-world applications, such as diet management and self-service restaurants. A large-scale ontology of food images is urgently needed for developing advanced large-scale food recognition algorithms, as well as for providing the benchmark dataset for such algorithms. To encourage further progress in food recognition, we introduce the dataset ISIA Food- 500 with 500 categories from the list in the Wikipedia and 399,726 images, a more comprehensive food dataset that surpasses existing popular benchmark datasets by category coverage and data volume. Furthermore, we propose a stacked global-local attention network, which consists of two sub-networks for food recognition. One subnetwork first utilizes hybrid spatial-channel attention to extract more discriminative features, and then aggregates these multi-scale discriminative features from multiple layers into global-level representation (e.g., texture and shape information about food). The other one generates attentional regions (e.g., ingredient relevant regions) from different regions via cascaded spatial transformers, and further aggregates these multi-scale regional features from different layers into local-level representation. These two types of features are finally fused as comprehensive representation for food recognition. Extensive experiments on ISIA Food-500 and other two popular benchmark datasets demonstrate the effectiveness of our proposed method, and thus can be considered as one strong baseline. The dataset, code and models can be found at http://123.57.42.89/FoodComputing-Dataset/ISIA-Food500.html.

研究の動機と目的

• 深層学習モデルの食品認識における学習に向けた、大規模で多様かつ包括的な食品データセットの不足に対処すること。
• 食品画像における高いクラス内変動と微細な特徴差異の課題を、新しい深層学習アーキテクチャによって克服すること。
• グローバルレベル（テクスチャ、形状）とローカルレベル（材料関連領域）の両方の視覚的特徴を効果的に捉える統合モデルを構築し、認識性能を向上させること。
• ISIA Food-500およびベンチマークデータセットを用いた学習と評価を通じて、大規模な食品認識の強力なベースラインを確立すること。
• ISIA Food-500で事前学習されたモデルの一般化能力が、他の既存の食品認識ベンチマークにどのように効果を発揮するかを実証すること。

提案手法

• 提案されたSGLANetは2つのサブネットワークで構成される：グローバル特徴学習サブネットワーク（GloFLS）はハイブリッド空間チャネルアテンションを用いて判別性の高い特徴を抽出し、層間で特徴を集約してグローバル表現を形成する。
• ローカル特徴学習サブネットワーク（LocFLS）は段階的な空間トランスフォーマーを用いて注目領域を局所化し、マルチスケールの領域特徴を集約してローカル表現を形成する。
• グローバル特徴とローカル特徴を統合し、最終的な分類のための包括的表現を構築する。
• グローバル特徴とローカル特徴の補完的効果を最大化するために、複数の損失関数を用いてエンドツーエンドで学習する。
• ISIA Food-500での事前学習により転移学習が可能となり、ETHZ Food-101 や Vireo Food-172 などの下流ベンチマークでの性能が向上する。
• 頑健性と一般化性能を評価するために、1クロップおよび10クロップのテスト設定の両方でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 500カテゴリおよび399,726枚以上の画像を有する大規模で多様な食品データセットは、食品認識モデルの性能を顕著に向上させることができるか？
• RQ2 スタックドグローバルローカルアテンションネットワークは、食品認識においてグローバルな外観と微細なローカル特徴の両方を効果的に捉えることができるか？
• RQ3 提案されたSGLANetモデルは、ETHZ Food-101 や Vireo Food-172 などの既存ベンチマークデータセットに対しても良好に一般化するか？
• RQ4 ISIA Food-500で事前学習したモデルは、下流の食品認識タスクでの性能をどの程度向上させるか？
• RQ5 グローバルおよびローカルアテンションメカニズムは、微細な食品認識における判別性特徴を捉えるために、どのように補い合うか？

主な発見

• ISIA Food-500では、10クロップテスト設定下でTop-1精度が90.33%、Top-5精度が98.20%を達成し、複数のベースラインを上回る性能を示した。
• ETHZ Food-101で微調整した場合、1クロップ設定ではTop-1精度が90.47%、10クロップ設定では90.92%を達成し、優れた一般化性能を示した。
• Vireo Food-172では、事前学習済みモデルを用いた1クロップ設定でTop-1精度が90.78%、10クロップ設定で90.98%を達成し、大多数のベースラインを上回った。
• 事前学習済みSGLANetモデルを用いることで、ETHZ Food-101では約0.8%、Vireo Food-172では約0.9%の性能向上が得られ、ISIA Food-500の転移学習効果を確認した。
• SGLANetはISIA Food-500で最先端の性能を達成し、他のベンチマークでも競争力のある結果を示し、大規模な食品認識の強力なベースラインを確立した。
• アブレーションスタディの結果、グローバルおよびローカル特徴学習の両方のコンponentが最終的な性能に顕著に寄与しており、両者の統合が最良の結果をもたらした。