[論文レビュー] Learning Multi-Object Symbols for Manipulation with Attentive Deep Effect Predictors

Alper Ahmetoğlu, Erhan Öztop+1 more|arXiv (Cornell University)|Aug 1, 2022

Robot Manipulation and Learning参考文献 34被引用数 4

ひとこと要約

本論文では、動的で物体の数が変化する環境において、ロボットが自己探索を通じて離散的で多対象の記号を発見できるようにする、バイナリ潜在層を備えた自己注意型深層予測エンコーダ・デコーダネットワークを提案する。このシステムは相互作用の影響を予測でき、積み上げた物体の再配置といったタスクにおける記号的推論と計画を可能にし、最小限で生態的関連性のある記号を用いてシミュレーションで正しい多段階計画を達成する。

ABSTRACT

In this paper, we propose a concept learning architecture that enables a robot to build symbols through self-exploration by interacting with a varying number of objects. Our aim is to allow a robot to learn concepts without constraints, such as a fixed number of interacted objects or pre-defined symbolic structures. As such, the sought architecture should be able to build symbols for objects such as single objects that can be grasped, object stacks that cannot be grasped together, or other composite dynamic structures. Towards this end, we propose a novel architecture, a self-attentive predictive encoder-decoder network with binary activation layers. We show the validity of the proposed network through a robotic manipulation setup involving a varying number of rigid objects. The continuous sensorimotor experience of the robot is used by the proposed network to form effect predictors and symbolic structures that describe the interaction of the robot in a discrete way. We showed that the robot acquired reasoning capabilities to encode interaction dynamics of a varying number of objects in different configurations using the discovered symbols. For example, the robot could reason that (possible multiple numbers of) objects on top of another object would move together if the object below is moved by the robot. We also showed that the discovered symbols can be used for planning to reach goals by training a higher-level neural network that makes pure symbolic reasoning.

研究の動機と目的

• 事前に定義された構造や固定された相互作用制約がなくても、変動する数の物体に対して記号的表現を発見できるようにすること。
• 自己注意メカニズムを通じて、対象固有の記号と複合的な多対象記号の両方を形成できる単一のニューラルアーキテクチャを開発すること。
• 例えば、基盤を動かしたときにその上に置かれた物体が一緒に動くといった、相互作用ダイナミクスに関する推論能力をロボットに与えること。
• 発見された記号が、学習された記号的遷移モデルを介して目的指向の計画に使用できることを実証すること。
• 学習された記号のみを用いて純粋な記号的推論と計画生成が可能であり、シミュレーションで検証されること。

提案手法

• 連続的なセンサモータ観測を離散的記号的表現にマッピングするために、自己注意型予測エンコーダ・デコーダネットワークを用いる。
• バイナリ活性化層がボトルネックを形成し、効果予測に最適化された離散的でコンパクトな記号的表現を強制する。
• 自己注意メカニズムが、オブジェクト記号を動的に組み合わせて、実行時に複合的な多対象記号を生成する。
• 現在の状態と行動から次の記号的状態を予測するために、バイナリクロスエントロピー損失を用いて別個の記号的前向きモデルを訓練する。
• 可変な数の剛体物体を含むシミュレーテッドロボット操作データ上で、エンドツーエンドに訓練する。
• 記号的推論と計画は、学習された記号的遷移モデルを用いたツリー探索によって評価する。

実験結果

リサーチクエスチョン

• RQ1 単一のニューラルアーキテクチャが、自己探索を通じて変動する数のオブジェクトに対して、離散的で生態的関連性のある記号を発見できるか？
• RQ2 発見された記号は、例えば把持した際の物体移動のような相互作用の影響を正確に予測できるか？
• RQ3 基盤を操作したときにその上にあるオブジェクトが一緒に動くことをシステムが推論できるか？
• RQ4 学習された記号は、複合オブジェクト構造の構築といった複雑な目標を達成するための多段階記号的計画を可能にするか？
• RQ5 発見された記号の集合は最小限であり、冗長的または任意なものではなく、効果予測に最適化されているか？

主な発見

• システムは、効果予測に十分な最小限の記号セットを学習に成功した。特に、物体の種類に関係なく遮蔽された物体に対して共通の「つかめない」記号を有効に使用した。
• ロボットは、基盤を掴んだときにその上に置かれた物体が一緒に動くことを予測する推論能力を示した。これは、複数のオブジェクト構成においても同様に成立した。
• 発見された記号により、高レベルの記号的前向きモデルが正しく多段階計画を生成でき、目標到達タスクの成功実行によって検証された。
• 記号的遷移モデルは正確な次状態予測を達成し、ツリー探索アルゴリズムが再配置されたオブジェクトスタックのような複雑な目標の実行可能な計画を発見できた。
• システムは未観測のオブジェクト数や構成にも一般化でき、変動環境下での操作に対して高い耐性を示した。
• 自己注意メカニズムは、個々のオブジェクト記号を効果的に複合的な多対象記号に組み合わせ、相互作用ダイナミクスを捉えるのに成功した。