[論文レビュー] Tuned Inception V3 for Recognizing States of Cooking Ingredients

Kin Ng|arXiv (Cornell University)|May 5, 2019

Robot Manipulation and Learning参考文献 23被引用数 4

ひとこと要約

この論文では、独自のデータセットを用いたトランスファー学習により、11種類の調理材料の状態（例：皮を剥がした、みじん切り、丸ごと）を識別するように微調整されたInception V3モデルを提案している。初期層を凍結し、SGDを用いて上位層を微調整することで、未観測のテストデータに対して69.4％の精度を達成し、ロボット調理への応用可能性を示している。

ABSTRACT

Cooking is a task that must be performed in a daily basis, and thus it is an activity that many people take for granted. For humans preparing a meal comes naturally, but for robots even preparing a simple sandwich results in an extremely difficult task. In robotics, designing kitchen robots is complicated since cooking relies on a variety of physical interactions that are dependent on different conditions such as changes in the environment, proper execution of sequential instructions, along with motions, and detection of the different states in which cooking-ingredients can be in for their correct grasping and manipulation. In this paper, we focus on the challenge of state recognition and propose a fine tuned convolutional neural network that makes use of transfer learning by reusing the Inception V3 pre-trained model. The model is trained and validated on a cooking dataset consisting of eleven states (e.g. peeled, diced, whole, etc.). The work presented on this paper could provide insight into finding a potential solution to the problem.

研究の動機と目的

• ロボット調理の課題に対処し、適切な把持や操作を可能にするために、材料の状態を正確に認識することを目的とする。
• 材料が多数の変化を経験する動的キッチン環境において、状態認識の難しさを克服することを目的とする。
• 事前学習済みのInception V3モデルを、専用の調理材料状態分類タスクに適応させるために、トランスファー学習を活用することを目的とする。
• ロボットシステムが調理中の材料の物理的状態を理解し、それに応じて反応できる基盤的ソリューションを提供することを目的とする。
• ロボットが調理を自律的に行うことを含む、複雑な日常的作業を実現するという、より広範な目標に貢献することを目的とする。

提案手法

• 独自のデータセットを用いて、事前学習済みのInception V3アーキテクチャを微調整することで、トランスファー学習を実施した。
• 訓練を2段階に分割：最初に、初期値が高い学習率を用いてランダムに初期化された上位層のみを訓練し、次に低学習率を用いてネットワーク全体を微調整した。
• 一般化性能を向上させるために、ランダムな水平反転および色のずれを含むデータ拡張技術を適用した。
• 微調整段階では、安定した小さな重み更新を確保するため、学習率（0.00001）が低く、モーメンタム（0.9）が設定されたSGDを選択した。
• 初期層を異なる数だけ凍結する実験を行い、上位2つのトレーニング可能ブロック（つまり、249番目の層まで）まで凍結した場合に最良の性能が得られることを特定した。
• モデルの頑健性と一般化能力を評価するために、曖昧な例やマルチステート例を含む11の状態からなる独自のデータセットを用いた。

実験結果

リサーチクエスチョン

• RQ1 微調整されたInception V3モデルは、トランスファー学習を用いて11種類の異なる調理材料状態を信頼性高く分類できるか？
• RQ2 初期層を異なる数だけ凍結することで、微調整中のモデル性能と収束にどのような影響を与えるか？
• RQ3 データの曖昧さ、マルチステートラベル、および「その他」カテゴリが分類精度に与える影響は何か？
• RQ4 この専用の調理状態認識タスクにおいて、SGDによる微調整を伴うトランスファー学習アプローチが、スクラッチからのエンドツーエンド学習を上回る性能を発揮できるか？
• RQ5 誤ってラベル付けされた画像や曖昧な画像といった、データ品質の問題が、モデル性能にどの程度制限を及えるか？

主な発見

• 全訓練後、バリデーションセットで72％の精度を達成しており、トレーニング分布に対する強力な学習を示している。
• 未観測のテストデータに対して69.4％の精度を達成した。これは、データセットの制限にもかかわらず、一般化能力があることを示している。
• 249番目の層まで（上位2つのInceptionブロック）凍結した場合が最良の性能を示し、バリデーション損失は0.8192、精度は72.86％であった。
• 249番目を越えて層を凍結（例：229番目や197番目まで）すると、精度が低下し、訓練時間も延びた。これは、過剰な凍結が性能に悪影響を及えることを示している。
• 「その他」クラスおよび曖昧／マルチステート画像が、特に困難なテストケースにおいて誤分類の主な要因であることが特定された。
• 可視化分析から、同じように見えるが異なるラベルが付与された画像（例：「クリーミー」対「その他」）やマルチステート画像（例：みじん切りかつ粉状）が、モデルの信頼性に顕著な影響を与えることが明らかになった。