[論文レビュー] Personalized Classifier for Food Image Recognition

Shota Horiguchi, Sosuke Amano+2 more|arXiv (Cornell University)|Apr 8, 2018

Image Retrieval and Classification Techniques参考文献 51被引用数 3

ひとこと要約

本稿では、深層特徴と重み付き最近傍法を組み合わせることで、最小限のユーザーデータで段階的個人化が可能な順序的個人化分類器（SPC）を提案する。この手法は、再訓練を必要とせず、個々のユーザの食品画像パターンに動的に適応することで、既存手法を上回る精度を達成する。新規クラスごとに少数のサンプルしか使用しない状況でも効果を発揮する。

ABSTRACT

Currently, food image recognition tasks are evaluated against fixed datasets. However, in real-world conditions, there are cases in which the number of samples in each class continues to increase and samples from novel classes appear. In particular, dynamic datasets in which each individual user creates samples and continues the updating process often have content that varies considerably between different users, and the number of samples per person is very limited. A single classifier common to all users cannot handle such dynamic data. Bridging the gap between the laboratory environment and the real world has not yet been accomplished on a large scale. Personalizing a classifier incrementally for each user is a promising way to do this. In this paper, we address the personalization problem, which involves adapting to the user's domain incrementally using a very limited number of samples. We propose a simple yet effective personalization framework which is a combination of the nearest class mean classifier and the 1-nearest neighbor classifier based on deep features. To conduct realistic experiments, we made use of a new dataset of daily food images collected by a food-logging application. Experimental results show that our proposed method significantly outperforms existing methods.

研究の動機と目的

• ラボベースの固定データセット画像分類と、ユーザが継続的に新しい個人化された食品クラスを追加する現実世界の動的食品画像データの間のギャップを埋める。
• 安定したクラス分布と各クラスの均等なサンプル数を仮定する従来の段階的学習手法の制限を克服する。
• 特に新規または希少な食品に対して、食品カテゴリごとのラベル付き画像が限られている現実世界の設定で、効果的な個人化を可能にする。
• 重い再訓練を伴わず、個々のユーザの好みや視覚的ドメインに適応できる軽量でスケーラブルなフレームワークを開発する。
• 正確なユーザ固有の画像分類により、手動ラベリング作業を削減することで、食品記録アプリケーションを改善する。

提案手法

• SPCフレームワークは、固定クラスの深層畳み込みニューラルネットワーク（CNN）分類器と、深層特徴に基づくユーザ固有の最近傍平均（NCM）および1-NN分類器を組み合わせる。
• 各ユーザに対して、新しい画像が追加される度に、各クラスの個人化されたプロトタイプベクトルを段階的に更新する。
• 分類は、固定クラスCNNとユーザ固有分類器の重み付き融合を用い、重みは信頼度スコアによって決定される。
• 本手法は、事前学習済みのCNN（例：VGG-16）から抽出した深層特徴を用い、高次元空間における画像埋め込みを表現する。
• ユーザ固有分類器は、距離に基づく重み付けを施した最近傍アプローチを用い、ワンショットおよびフェイシュート学習の状況に対応する。
• システムは段階的学習をサポートする：全モデルの再トレーニングなしに新しいサンプルを追加でき、リアルタイムでの適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 軽量で段階的な分類器フレームワークは、最小限のラベル付きデータで個々のユーザの食品画像パターンに効果的に適応できるか？
• RQ2 動的でユーザ生成のデータを伴う現実世界の食品画像認識において、固定クラスベースラインと比較して、個人化分類器の性能はどのように異なるか？
• RQ3 固定クラスCNNとユーザ固有の最近傍学習を組み合わせたハイブリッドアプローチは、ワンショットおよびフェイシュート条件下で分類精度をどの程度向上できるか？
• RQ4 提案手法は、既存の段階的学習およびドメイン適応技術を上回る性能を示すか？
• RQ5 本システムは、異なるユーザ間で顕著なクラス内変動とクラス間類似性をどのように処理するか？

主な発見

• 提案されたSPCフレームワークは、特に低データ環境下で、既存手法を顕著に上回る性能を発揮する。
• 初期状態では固定クラスCNNと同等の精度を達成し、ユーザ固有のデータ更新に伴い着実に向上する。
• SPCフレームワークは、食品記録アプリケーションにおけるラベル付け作業を削減し、固定クラスベースラインよりも頻繁に正しいラベルを提示する。
• 線形結合戦略（SPCsum）は性能向上を達成できず、固定分類器とユーザ固有分類器を単純に融合する方法は最適でないことが示された。
• 新規に作成されたFLDデータセットは、ユーザ間で顕著なクラス間類似性とクラス内多様性を示しており、個人化の必要性を裏付けた。
• 本システムは、新規食品クラスごとに1枚または数枚のサンプルしか使用しない状況でも、堅牢な性能を示し、ワンショット学習の有効性を確認した。