[論文レビュー] Verbal Focus-of-Attention System for Learning-from-Observation

Naoki Wake, Iori Yanokura+2 more|arXiv (Cornell University)|Jul 17, 2020

Robot Manipulation and Learning参考文献 59被引用数 4

ひとこと要約

本論文は、人間の模倣行動のスパティオテンポラルノイズを言語的キューを用いてフィルタリングすることで、ロボティクスにおける観察からの学習（LfO）の性能を向上させる、口頭の注目焦点（FoA）システムを提案する。オブジェクト名と属性を解釈して「どこを見るか」のフィルタを定義し、つかみ／離しのタイミングを検出することで「いつ見るか」のフィルタを生成することで、視覚のみの最先端手法と比較して、ごみくずやノイズが多い環境下でも行動局所化のロバスト性が向上する。

ABSTRACT

The learning-from-observation (LfO) framework aims to map human demonstrations to a robot to reduce programming effort. To this end, an LfO system encodes a human demonstration into a series of execution units for a robot, which are referred to as task models. Although previous research has proposed successful task-model encoders, there has been little discussion on how to guide a task-model encoder in a scene with spatio-temporal noises, such as cluttered objects or unrelated human body movements. Inspired by the function of verbal instructions guiding an observer's visual attention, we propose a verbal focus-of-attention (FoA) system (i.e., spatio-temporal filters) to guide a task-model encoder. For object manipulation, the system first recognizes the name of a target object and its attributes from verbal instructions. The information serves as a where-to-look FoA filter to confine the areas in which the target object existed in the demonstration. The system then detects the timings of grasp and release that occurred in the filtered areas. The timings serve as a when-to-look FoA filter to confine the period of object manipulation. Finally, a task-model encoder recognizes the task models by employing FoA filters. We demonstrate the robustness of the verbal FoA in attenuating spatio-temporal noises by comparing it with an existing action localization network. The contributions of this study are as follows: (1) to propose a verbal FoA for LfO, (2) to design an algorithm to calculate FoA filters from verbal input, and (3) to demonstrate the effectiveness of a verbal FoA in localizing an action by comparing it with a state-of-the-art vision system.

研究の動機と目的

• ごみくずの多いオブジェクトや関係のない身体の動きが、正確なタスクモデリングを妨げる、観察からの学習（LfO）におけるノイズの多い人間の模倣行動の課題に対処すること。
• 言語的指示によって誘導される人間の注目メカニズムを模倣することで、空間的・時間的ノイズを伴う現実世界のシナリオにおいて、タスクモデルエンコーダーのロバスト性を向上させること。
• 自然言語の指示を動的スパティオテンポラルフィルタに変換するシステムを開発し、模倣のエンコーディング中に注目を誘導すること。
• 口頭のFoAフィルタが、視覚のみのベースラインと比較して、複雑でノイズの多いシーンにおけるつかみ・離し行動の局所化精度を向上させることを実証すること。

提案手法

• ターゲットオブジェクト名と属性を抽出するための口頭指示の解析を行い、それらを用いて模倣行動における注目領域を制限する「どこを見るか」の空間的フィルタを生成する。
• 空間的にフィルタリングされた領域内で、時間的行動局所化を用いてつかみ／離し行動を検出し、「いつ見るか」の時間的フィルタを形成する。
• 組み合わせたスパティオテンポラルFoAフィルタをタスクモデルエンコーダーの入力に適用し、不要な視覚的ノイズへの感受性を低減する。
• 2段階のフィルタリングプロセスを採用：まずオブジェクト認識と属性解析による空間的フィルタリング、次に行動境界検出による時間的フィルタリング。
• 標準的なLfOパイプラインにFoAフィルタを統合し、タスクモデルエンコーダーが模倣の関連するセグメントにのみ注目できるようにする。
• 比較のためのベースラインとして、既存の行動局所化ネットワークを用い、口頭FoAの影響が局所化精度とノイズへのロバスト性に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 口頭の指示を効果的に用いて、観察からの学習中の注目を向上させるスパティオテンポラルフィルタを生成できるか？
• RQ2 口頭FoAシステムは、視覚のみのベースラインと比較して、ごみくずの多い視覚的条件下でつかみ・離し行動の局所化にどの程度優れているか？
• RQ3 空間的・時間的ノイズ（例：関係のない人体の動きや干渉オブジェクト）に対して、FoAシステムはどの程度感受性を低減できるか？
• RQ4 オブジェクト名と属性認識を時間的行動検出と組み合わせることで、タスクモデリングのための注目をどの程度効果的に誘導できるか？
• RQ5 提案されたFoAメカニズムは、既存のLfOフレームワークに、主要なアーキテクチャの変更なしに統合可能か？

主な発見

• 口頭のFoAシステムは、言語誘導のスパティオテンポラル制約により、不要な視覚的ノイズをフィルタリングすることで、ごみくずの多いシーンにおける行動局所化精度を顕著に向上させる。
• 干渉オブジェクトや関係のない身体の動きが模倣に含まれる状況下でも、つかみ・離し行動のロバストな局所化を達成する。
• 最先端の視覚のみの行動局所化ネットワークと比較して、スパティオテンポラルノイズが高い状況下でも、FoAを強化したシステムは優れた性能を示す。
• 注目メカニズムに口頭入力を統合することで、人間の模倣からより信頼性が高く解釈可能なタスクモデル抽出が可能になる。
• 言語を用いて空間的および時間的フィルタリングを誘導することで、オブジェクト局所化と行動境界検出のタスクを効果的に分離できる。
• 定量的比較を通じて、局所化F1スコアの向上と複数のノイズを含む模倣シナリオにおけるロバスト性の向上が明確に確認された。