[論文レビュー] Real-world Object Recognition with Off-the-shelf Deep Conv Nets: How Many Objects can iCub Learn?

Giulia Pasquale, Carlo Ciliberto+3 more|arXiv (Cornell University)|Apr 13, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 9

ひとこと要約

この論文は、事前学習済みの深層畳み込みニューラルネットワーク（CNN）を用いて、iCub人間型ロボットが実世界の物体をどれだけ認識できるかを評価している。4日間にわたり人間との対話によって収集されたiCubWorld28データセットを紹介している。最先端のCNNは高い精度を達成しているが、98％の信頼度で認識できたのはたった2つの物体にとどまり、深層学習の進展にもかかわらず、実世界のロボット視覚認識には顕著な課題が残っていることが明らかになった。

ABSTRACT

The ability to visually recognize objects is a fundamental skill for robotics systems. Indeed, a large variety of tasks involving manipulation, navigation or interaction with other agents, deeply depends on the accurate understanding of the visual scene. Yet, at the time being, robots are lacking good visual perceptual systems, which often become the main bottleneck preventing the use of autonomous agents for real-world applications. Lately in computer vision, systems that learn suitable visual representations and based on multi-layer deep convolutional networks are showing remarkable performance in tasks such as large-scale visual recognition and image retrieval. To this regard, it is natural to ask whether such remarkable performance would generalize also to the robotic setting. In this paper we investigate such possibility, while taking further steps in developing a computational vision system to be embedded on a robotic platform, the iCub humanoid robot. In particular, we release a new dataset ({\sc iCubWorld28}) that we use as a benchmark to address the question: {\it how many objects can iCub recognize?} Our study is developed in a learning framework which reflects the typical visual experience of a humanoid robot like the iCub. Experiments shed interesting insights on the strength and weaknesses of current computer vision approaches applied in real robotic settings.

研究の動機と目的

• 実世界のロボット環境におけるオフザシェルフの深層畳み込みネットワークのスケーラビリティを評価すること。
• 人間型ロボットが日常的に行う対話の中で得る視覚的経験を反映したベンチマークデータセット、iCubWorld28の構築。
• 文脈的情報、時間的整合性、自己教師あり学習がロボットシステムにおける認識性能をどのように向上させるかを調査すること。
• 現実的な条件下で、iCubが高精度（98％）で認識できる物体の最大数を定量化すること。
• 古典的手法（例：BoW、Fisherベクトル）と比較して、最新の深層学習アーキテクチャ（例：CaffeNet、OverFeat）がロボット視覚認識タスクにおいてどのように性能を発揮するかを検証すること。

提案手法

• 4日間にわたり、人間の教師がiCubに28個の物体を提示する人間-ロボット対話によって、iCubWorld28データセットを収集。自動ラベル付けのための音声アノテーションを併用。
• 視覚的表現のバックボーンとして、事前学習済みのCaffeNetを採用。iCubWorld28データセット上で微調整し、物体分類を実行。
• オフラインの結果の実世界への一般化性能を推定するために、信頼度ベースの性能評価指標を導入。
• ロボットの視覚ストリームから得られる連続フレームを活用し、時間的整合性を活用することで認識のロバスト性を向上。
• 画像内の干渉要因（ダストラクタ）の影響を軽減する弱教師あり戦略を適用し、モデルの一般化性能を向上。
• 増分的かつ生涯学習を模倣するための複数日間の学習設定を採用。各学習セッションにおける性能を評価。

実験結果

リサーチクエスチョン

• RQ1 オフザシェルフの深層CNNを用いた場合、実世界環境下でiCubロボットはどれだけの物体を98％の精度で認識できるか？
• RQ2 古典的視覚表現手法（例：BoW、Fisherベクトル）と比較して、ロボットが収集したデータセット上での深層学習モデルの性能はどの程度か？
• RQ3 連続的な観測から得られる時間的整合性および文脈的情報は、ロボットシステムにおける物体認識をどの程度向上できるか？
• RQ4 認識結果の信頼度と実世界への一般化可能性の相関関係はどのようになっているか？
• RQ5 弱教師あり戦略により、制御されていない環境下での視覚的干渉要因の影響を軽減し、認識性能を向上させることができるか？

主な発見

• 28個の物体のうち、98％の精度と高い信頼度で認識できたのはわずか2つにとどまり、最先端のモデルを用いても実世界への展開には顕著な制限があることが示された。
• 事前学習済みの深層CNN（CaffeNetとOverFeat）は、BoW、Fisherベクトル、VLADといった古典的手法を大きく上回り、CaffeNetは全日程を通じて平均80.8％の精度を達成した。
• 連続フレーム間の時間的整合性を活用することで、認識のロバスト性が向上した。これは、連続的な視覚データがモデル性能を向上させることを示唆している。
• 干渉要因の影響を軽減する弱教師あり戦略を適用したことで、特にごみだらけのシーンにおいて認識精度に顕著な向上が見られた。
• すべてのモデルの性能が時間経過とともに低下した（例：CaffeNetではDay 1で75.9％、Day 4で73.9％）。これは、実世界のデータ収集中に概念のずれや分布シフトが生じている可能性を示している。
• 最先端のモデルを用いても、人間レベルの性能（98％の精度）を達成するのは極めて困難であり、98％の精度で認識できたのは14個の物体にとどまった。