[論文レビュー] Bootstrapping Robotic Ecological Perception from a Limited Set of Hypotheses Through Interactive Perception

Léni K. Le Goff, Ghanim Mukhtar+2 more|arXiv (Cornell University)|Jan 30, 2019

Visual Attention and Saliency Detection参考文献 48被引用数 3

ひとこと要約

本論文では、シーン構造に関する事前仮定を必要とせず、非構造的環境において移動可能な部品を識別する能力を学習することで、生態的知覚をブートストラップするためのインタラクティブな知覚フレームワークを提案する。オンラインでの協調的混合モデル分類器の訓練と不確実性に基づく探索を用いて、ロボットは潜在的にインタラクティブな領域を示す関連性マップを構築する。この手法はシミュレーションおよびPR2ロボットを用いた実験でも、複雑なシナリオにおいても安定した性能を示した。

ABSTRACT

To solve its task, a robot needs to have the ability to interpret its perceptions. In vision, this interpretation is particularly difficult and relies on the understanding of the structure of the scene, at least to the extent of its task and sensorimotor abilities. A robot with the ability to build and adapt this interpretation process according to its own tasks and capabilities would push away the limits of what robots can achieve in a non controlled environment. A solution is to provide the robot with processes to build such representations that are not specific to an environment or a situation. A lot of works focus on objects segmentation, recognition and manipulation. Defining an object solely on the basis of its visual appearance is challenging given the wide range of possible objects and environments. Therefore, current works make simplifying assumptions about the structure of a scene. Such assumptions reduce the adaptivity of the object extraction process to the environments in which the assumption holds. To limit such assumptions, we introduce an exploration method aimed at identifying moveable elements in a scene without considering the concept of object. By using the interactive perception framework, we aim at bootstrapping the acquisition process of a representation of the environment with a minimum of context specific assumptions. The robotic system builds a perceptual map called relevance map which indicates the moveable parts of the current scene. A classifier is trained online to predict the category of each region (moveable or non-moveable). It is also used to select a region with which to interact, with the goal of minimizing the uncertainty of the classification. A specific classifier is introduced to fit these needs: the collaborative mixture models classifier. The method is tested on a set of scenarios of increasing complexity, using both simulations and a PR2 robot.

研究の動機と目的

• テーブルトップ仮定などの事前定義されたシーン仮説に依存しないようにすることで、非構造的環境におけるロボットの知覚課題に対処する。
• 事前セグメンテーションされたオブジェクト仮説に依存せず、物理的相互作用を通じて、シーンのどの部分がインタラクティブ（例えば、移動可能）であるかを自律的に学習できるようにする。
• オブジェクト形状やレイアウトに関する人為的な仮定を避けるために、ロボットのセンサーモーターベンチュアリティとタスクの文脈に適応する知覚システムを開発する。
• 操作行動（例：押す）を実行できる可能性が高い領域を特定する一般用途の知覚マップ（関連性マップと呼ぶ）をブートストラップする。
• 相互作用を通じて徐々に改善されるオンラインでインクリメンタルに学習される分類器を実現し、不確実性を低減するとともに、クラスの代表のバランスを保つ。

提案手法

• ロボットは選択された環境領域に対してプッシュプリミティブを用いて相互作用し、その行動の前後でシーンに変化があるかを観測する。
• 変化検出アルゴリズムが、行動前後の視覚的観測を比較することで、特定の領域が移動可能かどうかを判断する。
• 協調的混合モデル（CMM）分類器は、相互作用データを用いてオンラインで訓練され、非線形分離可能なデータの処理と分類の不確実性推定に重点を置いている。
• 不確実性に基づくサンプリング戦略により、分類器が最も不確実な領域を優先的に選択し、学習効率を向上させる。
• 分類器は段階的に訓練されるため、再訓練を必要とせず、新しい環境に適応できる。
• 分類器の出力から関連性マップが計算され、各画像領域が移動可能である確率を示し、将来の探索をガイドする。

実験結果

リサーチクエスチョン

• RQ1 テーブルトップやオブジェクトプリミティブなどのシーン固有の仮定に依存せずに、ロボットがシーン内の移動可能な部品を識別できるか。
• RQ2 インタラクティブな知覚は、ロボット自身のセンサーモーターベンチュアリティとタスク目標を反映する知覚マップをどのようにブートストラップできるか。
• RQ3 実世界のロボット設定において、不確実性推定と最小限のハイパーパramータチューニングを実現するのに適した分類器アーキテクチャは何か。
• RQ4 不確実性に基づく探索は、複雑な視覚的シーンにおいて高い分類精度を達成するために必要な相互作用回数をどの程度削減できるか。
• RQ5 本システムが生成する関連性マップは、オブジェクト発見や操作計画などの後続タスクをどのように支援するか。

主な発見

• 協調的混合モデル（CMM）分類器は非線形分離可能なデータを効果的に処理でき、信頼性の高い不確実性推定を提供し、有効なアクティブラーニングを可能にした。
• 不確実性に基づくサンプリング戦略により、曖昧な領域に焦点を当てることで、高い分類精度に到達するための相互作用回数が顕著に削減された。
• 本手法は、シミュレーションおよび実世界の多様な環境（移動可能なボール、レンガ、複雑なごみだらけのシーンなど）に一般化可能であり、優れた性能を示した。
• 関連性マップは効果的に移動可能な領域を特定しており、特徴空間の複雑さや色記述子の変動に対しても頑健な性能を示した。
• 事前定義されたシーン仮説への依存が低減され、再トレーニングや手動での再設定なしに、新しい環境に適応可能となった。
• PR2ロボットを用いた実験により、本フレームワークの実世界での実現可能性と頑健性が実証され、複数回の試行と段階的なシナリオの複雑化に対しても安定した性能を示した。