[論文レビュー] Identifying Object States in Cooking-Related Images

Ahmad Babaeian Jelodar, Sirajus Salekin+1 more|arXiv (Cornell University)|May 17, 2018

Image Retrieval and Classification Techniques参考文献 21被引用数 47

ひとこと要約

この論文は料理画像における物体の状態を識別する問題を定義・解決し、17個の物体に対して11状態のデータセットを構築し、各物体の微調整を行うResNetベースの転移学習モデルを提示して、強力な状態分類性能を実現し、Imagenetのサブセットへの状態ラベリングを可能にする。

ABSTRACT

Understanding object states is as important as object recognition for robotic task planning and manipulation. To our knowledge, this paper explicitly introduces and addresses the state identification problem in cooking related images for the first time. In this paper, objects and ingredients in cooking videos are explored and the most frequent objects are analyzed. Eleven states from the most frequent cooking objects are examined and a dataset of images containing those objects and their states is created. As a solution to the state identification problem, a Resnet based deep model is proposed. The model is initialized with Imagenet weights and trained on the dataset of eleven classes. The trained state identification model is evaluated on a subset of the Imagenet dataset and state labels are provided using a combination of the model with manual checking. Moreover, an individual model is fine-tuned for each object in the dataset using the weights from the initially trained model and object-specific images, where significant improvement is demonstrated.

研究の動機と目的

• 微細な活動理解とロボット操作を支援するため、料理物体の状態識別問題を定義する。
• 料理物体と11状態のラベル付きデータセットを作成する。
• 状態分類のためのResNetベースの転移学習アーキテクチャを提案する。
• 各物体ごとの微調整が状態ラベルの精度を向上させることを示す。
• 料理関連物体のImagenetのサブセットで状態ラベリングを実証する。

提案手法

• 17の調理物体と11状態（全体、皮むき、粉をまぶした、薄切り、刻んだ、すりおろした、千切り、汁、クリーミー、混合、その他）を含む状態データセットを構築する。
• 1x1畳み込み層、2つの畳み込み層、グローバル平均プーリングを備え、状態分類のために11クラスのソフトマックスを続けるResNetベースのネットワークを開発する。
• Imagenet事前学習済み重みを用い、最初はベースを凍結して全体を微調整する。
• 各物体ごとに最終層を各物体の状態数に合わせたソフトマックスに置換し、4段階で微調整することで物体特異的微調整を行う。
• オンライン拡張、L2正則化、バッチ正規化を用いて評価し、別の2モデルを加えた投票アンサンブルを採用する。

実験結果

リサーチクエスチョン

• RQ1 料理画像中の物体が取り得る異なる状態は何か、それらをどのように信頼性高く分類できるか。
• RQ2 物体特異的な微調整は単一のグローバルモデルより状態識別の精度を向上させるか。
• RQ3 状態識別モデルは料理関連物体を含むImagenetデータセットの画像に対してどの程度一般化できるか。
• RQ4 カスタムデータセットを超える大規模画像データセットの物体に対しても状態ラベルを提供できるか。

主な発見

Model	State Dataset Top-1	State Dataset Top-2	Imagenet Subset Top-1	Imagenet Subset Top-2
Resnet-based Model	80.4%	91.5%	78.5%	89.6%
Voting	82%	92%	-	-

• 物体特異的微調整なしの全状態データセットでの状態識別精度はTop-1 80.4%（クラスあたり平均81.4%）、Top-2 91.5%で、投票アンサンブルで82%に上昇。
• 物体特異的微調整はより高い性能を示し、対象物全体で平均Top-1 86.9%、Top-2 88.3%（その実験では doughを除く）。
• Imagenetサブセット評価は、16の料理関連物体カテゴリに11状態クラスをラベル付けする場合、Top-1 78.5%、Top-2 89.6%、Top-3 94.5%の精度を達成。
• 物体ごとの微調整はグローバルモデルより状態識別精度を大幅に改善し、例としていくつかの物体で顕著な利得を示す（例：きのこ 95.6% Top-1；にんじん いくつかの設定で 96% Top-1）。
• Imagenetベースのラベリングパスにより、16カテゴリの画像800枚に対して状態ラベルを割り当て、平均 78.5% Top-1、89.6% Top-2、94.5% Top-3。
• 本論文は、状態の誤分類は多状態または曖昧な画像から生じることが多いと指摘しており、多状態検出とビデオ追跡の将来の課題を示唆している。