[論文レビュー] DeepSym: Deep Symbol Generation and Rule Learning from Unsupervised Continuous Robot Interaction for Planning

Alper Ahmetoğlu, M. Yunus Seker+3 more|arXiv (Cornell University)|Dec 4, 2020

Multimodal Machine Learning Applications参考文献 26被引用数 5

ひとこと要約

DeepSymは、ラベルなしのロボットインタラクションデータから、自律的かつ行動に根ざした離散的記号と確率的規則を生成する深層学習フレームワークを提案する。予測型オートエンコーダに二値のボトルネック層を用いて物体の性質や関係的効果の潜在表現を抽出し、その表現を決定木で微調整してPPDDL準拠の確率的規則に変換することで、ロボット的および非ロボット的領域における有効な記号的計画を可能にする。マルチステップの操作タスクやパズル解法タスクにおいて成功を収めた。

ABSTRACT

We propose a novel general method that finds action-grounded, discrete object and effect categories and builds probabilistic rules over them for non-trivial action planning. Our robot interacts with objects using an initial action repertoire that is assumed to be acquired earlier and observes the effects it can create in the environment. To form action-grounded object, effect, and relational categories, we employ a binary bottleneck layer in a predictive, deep encoder-decoder network that takes the image of the scene and the action applied as input, and generates the resulting effects in the scene in pixel coordinates. After learning, the binary latent vector represents action-driven object categories based on the interaction experience of the robot. To distill the knowledge represented by the neural network into rules useful for symbolic reasoning, a decision tree is trained to reproduce its decoder function. Probabilistic rules are extracted from the decision paths of the tree and are represented in the Probabilistic Planning Domain Definition Language (PPDDL), allowing off-the-shelf planners to operate on the knowledge extracted from the sensorimotor experience of the robot. The deployment of the proposed approach for a simulated robotic manipulator enabled the discovery of discrete representations of object properties such as `rollable' and `insertable'. In turn, the use of these representations as symbols allowed the generation of effective plans for achieving goals, such as building towers of the desired height, demonstrating the effectiveness of the approach for multi-step object manipulation. Finally, we demonstrate that the system is not only restricted to the robotics domain by assessing its applicability to the MNIST 8-puzzle domain in which learned symbols allow for the generation of plans that move the empty tile into any given position.

研究の動機と目的

• ロボット工学における低レベルのセンサモータデータと高レベルの記号的推論の間の表象的ギャップを解消すること。
• 手動での記号設計なしに、行動効果経験に根ざした、自己学習型の記号形成を可能にすること。
• ニューラル表現から解釈可能な確率的規則を抽出し、市販の記号的計画ツールで利用可能にする。
• 本手法がロボット工学を越えて、例えば8パズルのような非ロボット的分野へも一般化可能であることを示すこと。
• 以前に学習した記号を再利用することで、上位レベルの抽象化を段階的に学習可能にする。

提案手法

• 画像観測値と適用された行動を入力とする予測型深層エンコーダ・デコーダニューラルネットワークが、ピクセル座標におけるシーン変化を予測する。
• エンコーダ内の二値ボトルネック層が、行動に根ざした物体および効果のカテゴリを符号化する離散的潜在ベクトルを生成する。
• 再構成誤差とボトルネックサイズのトレードオフを最適化することで、自動的に記号発見が可能になる。
• 決定木を訓練してデコーダの関数を再現させ、潜在コードから予測された効果へのマッピングを実現する。
• 決定木のパスから確率的規則を抽出し、それらを確率的計画ドメイン記述言語（PPDDL）オペレータに変換する。
• 本システムはシミュレーテッドロボットマニピュレータ環境で評価され、MNIST 8パズルドメインに拡張されて一般化性のテストが行われた。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、ラベルなしのロボットインタラクションデータから、自律的に離散的かつ解釈可能な記号を発見できるか？
• RQ2 『転がる』や『差し込む』といった、行動に根ざした物体的および関係的性質は、手動でのアノテーションなしに学習可能か？
• RQ3 訓練済みオートエンコーダに埋め込まれた知識を、記号的計画ツールで利用可能な確率的規則に効果的に抽出できるか？
• RQ4 提案手法はロボット工学を越えて、例えば8パズルのような古典的計画問題にも一般化可能か？
• RQ5 学習済み記号を再利用することで、上位レベルの推論に向けた段階的抽象化をサポートできるか？

主な発見

• 本システムは、ロボットインタラクションデータから『転がる』『差し込む』『より大きい』といった解釈可能な記号を自動で発見し、意味的に意味のある人間が理解可能な記号となった。
• シミュレーテッドロボット環境では、市販の確率的計画ツールを用いて、所望の高さのタワーを構築するマルチステップタスクに対する効果的な計画を生成した。
• テーブルトップ環境において、球体オブジェクトを正しい記号的カテゴリに割り当てる精度が92.9% ± 8.6%に達し、実行間で高い一貫性を示した。
• MNIST 8パズルドメインでは、空きマスを任意のターゲット位置に移動させる計画を生成可能な記号を学習し、ロボット工学を越えた一般化を示した。
• 8パズルでは14ユニットのボトルネック、15パズルでは15ユニットのボトルネックを用いた場合、情報理論的下界に非常に近い結果が得られ、効率的な表現学習が行われた。
• ストレートスルー推定器（STE）を用いたベースラインオートエンコーダよりも優れた性能を示し、特に複雑なオブジェクトタイプにおいて顕著に高い精度を達成した。