[論文レビュー] Incremental Learning for Robot Perception through HRI

Sepehr Valipour, Camilo Perez+1 more|arXiv (Cornell University)|Jan 17, 2017

Multimodal Machine Learning Applications参考文献 14被引用数 4

ひとこと要約

本論文は、ポイント操作と音声コマンドによる能動的ヒューマンガイドによる、継続的学習を可能にする人間-ロボットインタラクション（HRI）駆動のインクリメンタル学習フレームワークを提案する。ディープラーニングベースの物体検出と認識と、リアルタイムでのヒューマンフィードバックを統合することで、ロボットは知識ベースを段階的に拡張し、多数の新しい物体クラスを追加しても、災難的忘却を起こさずに安定した性能（トップ1正答率 >0.45）を達成する。

ABSTRACT

Scene understanding and object recognition is a difficult to achieve yet crucial skill for robots. Recently, Convolutional Neural Networks (CNN), have shown success in this task. However, there is still a gap between their performance on image datasets and real-world robotics scenarios. We present a novel paradigm for incrementally improving a robot's visual perception through active human interaction. In this paradigm, the user introduces novel objects to the robot by means of pointing and voice commands. Given this information, the robot visually explores the object and adds images from it to re-train the perception module. Our base perception module is based on recent development in object detection and recognition using deep learning. Our method leverages state of the art CNNs from off-line batch learning, human guidance, robot exploration and incremental on-line learning.

研究の動機と目的

• 物体のカテゴリが動的で事前に完全に把握できない現実世界の環境におけるロボット認識の課題に対処すること。
• ポイント操作や音声ラベル付けなどの自然な人間-ロボットインタラクションを通じて、ロボットが段階的に新しい物体カテゴリを学習できること。
• 新しいクラスを継続的に追加しながらも、高い認識正答率を維持し、災難的忘却を回避するシステムの開発。
• 対話的で記述的学習を通じて、人間とロボットの間で共通の知識基盤を構築すること。
• 電子工作用の現場応用など、現実世界のロボットアプリケーションにおけるインクリメンタル視覚認識の実現可能性を示すこと。

提案手法

• リアルタイムの物体検出と認識に、事前学習済みのディープラーニングモデル（RPNおよびCNNに基づく）を用い、GeForce 960 GPU上で150msの推論時間を持つ。
• 新しい物体カテゴリはヒューマンインタラクションによって導入される：ユーザーが物体を指差し、音声でラベルを付与することで、共通の理解基盤を確立する。
• ロボットは自らの搭載カメラを用いて物体を自律的に探索し、再訓練のための複数の画像を収集する。
• 新たに収集した画像を用いて、モデルを段階的に微調整し、分類器ヘッドを新しいカテゴリを含むように更新する。
• アプローチは、初期認識に市販の最先端CNNを活用し、その後オンラインインクリメンタル学習を適用して新データに適応する。
• 性能評価にはトップ1正答率と平均適合率（AP）を用い、旧クラスと新クラスを含むテストセット上で指標を計算する。

実験結果

リサーチクエスチョン

• RQ1 ヒューマンインタラクションを継続的に行うことで、ロボットが過去に学習したクラスを忘れない状態で視覚認識能力を段階的に拡張できるか。
• RQ2 新しい物体カテゴリを段階的に追加する際、ディープラーニングモデルの認識正答率はどの程度低下するか。また、その低下を最小限に抑えることができるか。
• RQ3 HRIによる探索で収集された画像は、ImageNetのような汎用データセットと比較して、インクリメンタル学習の文脈でどの程度の性能を示すか。
• RQ4 自然な人間-ロボットインタラクション（ポイント操作と音声コマンド）は、ロボットに新しい物体カテゴリを教えるためのスケーラブルで信頼性の高い方法として効果的か。
• RQ5 物体検出と認識における時間的整合性の統合が、長期的な認識の頑健性をどのように向上させるか。

主な発見

• ベースラインモデルではトップ1正答率が0.45を達成しており、MS-COCOデータセットの難易度を考慮すれば予想される高い水準の認識性能を維持している。
• 新しい物体カテゴリを段階的に追加した後も、正答率の低下が僅かな勾配で推移しており、多数の追加後でも災難的忘却が最小限に抑えられていることが示された。
• HRIによる探索で収集された画像の性能は、ImageNetの画像とほぼ同等であり、わずかな正答率の低下にとどまる。これは、ロボットが収集したデータがインクリメンタル学習に非常に効果的であることを示唆している。
• 消費クラスGPU上で1フレームあたり150msのリアルタイム推論を達成しており、R-CNNを上回る速度性能を示し、最先端技術（0.224）と比較して競争力のある平均適合率（0.2026）を維持している。
• ヒューマンガイドとロボットの探索の組み合わせにより、新しい物体カテゴリの信頼性の高いスケーラブルな学習が可能であることが、実際の電子工作用現場シナリオで実証された。
• 正しく局所化（IoU > 0.5）され、正しく分類された場合の総合システム正答率は0.1704に達しており、インクリメンタル設定下でも局所化と認識の両方が困難ではあるが、管理可能であることが示された。