[論文レビュー] Classifying cooking object's state using a tuned VGG convolutional neural network

Rahul Paul|arXiv (Cornell University)|May 23, 2018

Robotics and Automated Systems被引用数 9

ひとこと要約

本論文では、7つの異なる料理状態（例：ミンチ切り、細切り）を分類するように微調整されたVGG-16畳み込みニューラルネットワークを提案する。独自に作成したアノテート済み画像データセットを用いて、モデルはこれらの視覚的に微細な状態を区別する際に77％の正確性を達成した。これは、料理準備タスクにおけるロボットの認識性能を向上させる実用的なアプローチを示している。

ABSTRACT

In robotics, knowing the object states and recognizing the desired states are very important. Objects at different states would require different grasping. To achieve different states, different manipulations would be required, as well as different grasping. To analyze the objects at different states, a dataset of cooking objects was created. Cooking consists of various cutting techniques needed for different dishes (e.g. diced, julienne etc.). Identifying each of this state of cooking objects by the human can be difficult sometimes too. In this paper, we have analyzed seven different cooking object states by tuning a convolutional neural network (CNN). For this task, images were downloaded and annotated by students and they are divided into training and a completely different test set. By tuning the vgg-16 CNN 77% accuracy was obtained. The work presented in this paper focuses on classification between various object states rather than task recognition or recipe prediction. This framework can be easily adapted in any other object state classification activity.

研究の動機と目的

• 調理中の食品オブジェクトの状態における微細な視覚的差を分類するための堅牢な手法を開発すること。
• ミンチ切り、スライス、細切りなどの調理状態を、人間ですら一貫して区別することが難しいという課題に取り組むこと。
• 深層学習モデルのトレーニングと評価を支援するための、調理状態のラベル付きデータセットを作成すること。
• 微調整されたVGG-16モデルの、ロボティクスアプリケーションにおけるオブジェクト状態分類への適用可能性を示すこと。
• 料理準備を超えた他のオブジェクト状態分類タスクに適応可能なフレームワークを提供すること。

提案手法

• 学生がアノテートした、7つの異なる食品調理状態をカバーする独自の調理オブジェクト画像データセットを収集した。
• 事前学習済み特徴を特定の調理状態分類タスクに適応させるために、このデータセット上でVGG-16畳み込みニューラルネットワークを転移学習を用いて微調整した。
• モデル性能の偏りのない評価を確保するため、画像を訓練用とテスト用に分割した。
• 一般化性能を向上させるためにトレーニング中にデータ拡張技術が適用された可能性があるが、要約には明示的に記載されていない。
• モデルは、視覚的外観のみに基づいて7つの事前に定義された調理状態のうちの1つを予測するようにトレーニングされた。
• 標準的な分類指標を用いて評価が行われ、主な性能指標として正確性が報告された。

実験結果

リサーチクエスチョン

• RQ1 微調整されたVGG-16モデルは、視覚的外観に基づいて7つの異なる食品オブジェクトの調理状態を効果的に分類できるか？
• RQ2 VGG-16を用いた転移学習は、独自の食品調理状態データセットにおいて、ランダムまたは非転移学習ベースラインと比較してどの程度の性能を示すか？
• RQ3 人間がアノテートした調理状態の画像は、ロボットの認識を目的とした深層学習モデルの学習にどの程度活用可能か？
• RQ4 提案されたフレームワークは、料理準備を超えたロボティクス分野における他のオブジェクト状態分類タスクに一般化可能か？
• RQ5 十分なラベル付きデータが利用可能な状況下で、深層学習を用いて視覚的に類似した食品調理状態をどの程度の正確性で区別できるか？

主な発見

• 微調整されたVGG-16モデルは、テストセットで77％の分類正確性を達成し、調理状態間の微細な視覚的差を効果的に学習していることを示している。
• アノテート済み調理オブジェクト画像のデータセットは、7つの異なる食品調理状態を区別できる深層学習モデルのトレーニングに十分であることが判明した。
• モデルの性能から、刻んだ食品の形状、サイズ、テクスチャといった視覚的特徴が、深層畳み込みニューラルネットワークを用いた信頼性の高い分類に十分な判別能を有していることが示された。
• このフレームワークは転送可能であり、ロボティクスやコンピュータビジョン分野における他のオブジェクト状態分類タスクに適応可能である。
• 十分なラベル付きデータが利用可能な状況下で、VGG-16のような微調整済み事前学習モデルが、特定の分類タスクに有効であることが示唆された。
• 本研究は、意味のある視覚認識性能を達成するためには、高品質でタスク固有のデータセットの重要性が強調されるべきであると示している。