[論文レビュー] Mining Discriminative Food Regions for Accurate Food Recognition

Jianing Qiu, Frank P.-W. Lo+3 more|arXiv (Cornell University)|Jul 8, 2022

Advanced Chemical Sensor Technologies被引用数 44

ひとこと要約

要約: 本論文は PAR-Net を提案します。三枝のネットワークが Adversarial Erasing で識別的な食物領域を反復的に発掘し、局所特徴とグローバル特徴を統合してEnd-to-Endの食物認識を実現します。Sushi-50 という新しい細粒度データセットを含む複数データセットで最先端の結果を達成しました。

ABSTRACT

Automatic food recognition is the very first step towards passive dietary monitoring. In this paper, we address the problem of food recognition by mining discriminative food regions. Taking inspiration from Adversarial Erasing, a strategy that progressively discovers discriminative object regions for weakly supervised semantic segmentation, we propose a novel network architecture in which a primary network maintains the base accuracy of classifying an input image, an auxiliary network adversarially mines discriminative food regions, and a region network classifies the resulting mined regions. The global (the original input image) and the local (the mined regions) representations are then integrated for the final prediction. The proposed architecture denoted as PAR-Net is end-to-end trainable, and highlights discriminative regions in an online fashion. In addition, we introduce a new fine-grained food dataset named as Sushi-50, which consists of 50 different sushi categories. Extensive experiments have been conducted to evaluate the proposed approach. On three food datasets chosen (Food-101, Vireo-172, and Sushi-50), our approach performs consistently and achieves state-of-the-art results (top-1 testing accuracy of $90.4\%$, $90.2\%$, $92.0\%$, respectively) compared with other existing approaches. Dataset and code are available at https://github.com/Jianing-Qiu/PARNet

研究の動機と目的

• 受動的な日常摂食モニタリングの動機付けとして自動的な食物認識精度を向上させる。
• 画像内の識別的な食物領域を発見するための弱教師付き手法を開発する。
• グローバルと mined region の表現を統合するエンドツーエンドで訓練可能なアーキテクチャを設計する。

提案手法

• PAR-Net を三つのサブネットワークで構成する。P-Net（グローバル画像分類）、A-Net（識別的領域が除去された状態で分類）、R-Net（ mined regions を分類）。
• Adversarial Erasing を使用して CAM ヒートマップに導かれた識別的領域を段階的に掘り起こす。
• オンラインで CAM を計算し、識別的領域をハイライトし R-Net の領域 crops を生成する。
• 全体の画像特徴と mined region の特徴を連結し、追加の全結合層で分類する。
• P-Net、A-Net、R-Net、および連結表現の損失を含む複合損失でエンドツーエンド訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 識別的領域のマイニングはグローバル画像特徴を超える食物認識の改善につながるのか？
• RQ2 過度な計算を避けつつ性能を最大化するには何個の領域を mined すべきか？
• RQ3 グローバル表現と地域表現をエンドツーエンド訓練で統合することは単一ネットワークのベースラインより優れているのか？
• RQ4 オンライン CAM ベースの領域マイニングは食物認識のエンドツーエンド最適化に有効か？

主な発見

• PAR-Net は Food-101 の top-1 精度で一貫して最先端を達成（1-crop: 89.3; 10-crop: 90.4）、Vireo-172 で（1-crop: 89.6; 10-crop: 90.2）、Sushi-50 で（1-crop: 91.8; 10-crop: 92.0）。
• 3つの識別的領域（T=3）を使用すると、オーバーヘッドを抑えつつ高い性能を提供。
• グローバルと地域タスクの独立したサブネットワークは、重みを共有するものや単一ネットワークの変種よりも優れている。
• グローバル画像特徴と mined region 特徴を連結すると、どちらか一方のソースのみを用いるより高い精度を達成する。