[論文レビュー] FoodX-251: A Dataset for Fine-grained Food Classification

Parneet Kaur, Karan Sikka+3 more|arXiv (Cornell University)|Jul 14, 2019

Image Retrieval and Classification Techniques参考文献 24被引用数 65

ひとこと要約

本論文は FoodX-251 を紹介します。251 個の細粒度の食物カテゴリと 158k 枚の画像を含む大規模なウェブ由来データセット、検証・テストセットの人間による検証済みラベル、そして ResNet-101 を用いた基準結果を提供します。

ABSTRACT

Food classification is a challenging problem due to the large number of categories, high visual similarity between different foods, as well as the lack of datasets for training state-of-the-art deep models. Solving this problem will require advances in both computer vision models as well as datasets for evaluating these models. In this paper we focus on the second aspect and introduce FoodX-251, a dataset of 251 fine-grained food categories with 158k images collected from the web. We use 118k images as a training set and provide human verified labels for 40k images that can be used for validation and testing. In this work, we outline the procedure of creating this dataset and provide relevant baselines with deep learning models. The FoodX-251 dataset has been used for organizing iFood-2019 challenge in the Fine-Grained Visual Categorization workshop (FGVC6 at CVPR 2019) and is available for download.

研究の動機と目的

• 食品分類の深層学習を進展させるための、大規模で細粒度の食品データセットの必要性を動機づける。
• FoodX-251 の作成とクレンジング過程を説明し、ウェブ由来のノイズへの対処を含む。
• 挑戦的で多様な食品データセット上で将来の手法をベンチマークするための基準結果を提供する。

提案手法

• Food-101 を WordNet の同系統語と手動フィルタリングで拡張して、251 の細粒度食品クラスを収集する。
• 各クラスのウェブ画像をダウンロードし、重複除去とノイズフィルタリングを適用する（クロスドメインおよびクロスカテゴリ）。
• 各クラスからランダムサンプルに対して人間による検証を行い、クリーンな検証用・テスト用分割を作成する（12k val、28k test；検証済みを含む 40k）。
• ILSVRC に触発されたシンプルな評価指標を使用：top-3 ラベル精度。各画像の誤りは、予測ラベルのいずれかが正解と一致すれば 0、そうでなければ 1。
• ResNet-101 を用いた二つのファインチューニング戦略（最後の層のみ vs 全層）で基準ベースラインを提供する。
• FGVC 風の食品認識課題でさらなる研究を動機づけるために、ベースラインの性能を示す。

実験結果

リサーチクエスチョン

• RQ1 ウェブ源から収集した大規模で細粒度の食品データセットは、最先端の深層学習モデルの訓練を支援できるか？
• RQ2 ウェブ由来の食品画像のノイズと曖昧さは、ラベリングとモデルの性能にどのような影響を与えるか？
• RQ3 FoodX-251 で標準的なアーキテクチャはどの程度のベースライン性能を達成し、ファインチューニングの範囲は結果にどう影響するか？

主な発見

• FoodX-251 は 251 クラスと 158k 枚の画像で構成され、訓練 118k、検証 12k、テスト 28k の画像がある；40k 枚の画像には人間による検証済みラベルがある。
• ベースラインの ResNet-101 結果は、最後の層のファインチューニングと全ネットワークのファインチューニングの間に顕著なギャップを示し、全層をファインチューニングすると top-3 error が 0.37 から 0.17 に低下した。
• この細粒度タスクでは、全ネットワークのファインチューニングが最後の層のファインチューニングより顕著な性能改善をもたらす。
• 本データセットは、CVPR 2019 の iFood-2019 FGVC ワークショップチャレンジ（FGVC6）を組織するために使用された。
• FoodX-251 は、さまざまな料理アイテムと高いクラス内類似性を特徴とする挑戦的なベンチマークを提供し、細粒度の食品分類器の評価に適している。