[論文レビュー] Knowledge Induced Deep Q-Network for a Slide-to-Wall Object Grasping.

Hengyue Liang, Xibai Lou+1 more|arXiv (Cornell University)|Oct 9, 2019

Robot Manipulation and Learning参考文献 15被引用数 15

ひとこと要約

本稿では、壁などの環境的制約を能動的に活用することで、ロボットがSlide-to-Wall graspingを解けるようにする強化学習手法であるKnowledge Induced Deep Q-Network (KI-DQN)を提案する。DQNフレームワークにドメイン知識を統合することにより、未観測の壁構成に対しても優れた一般化性能を達成し、微調整なしに直接現実世界への適用が可能となる。標準DQNに比べ、ゼロショットテスト環境下でも優れた性能を示す。

ABSTRACT

In robotic grasping tasks, robots usually avoid any collisions with the environment and exclusively interact with the target objects. However, the environment can facilitate grasping rather than being obstacles. Indeed, interacting with the environment sometimes provides an alternative strategy when it is not possible to grasp from the top. One example of such tasks is the Slide-to-Wall grasping, where the target object needs to be pushed towards a wall before a feasible grasp can be applied. In this paper, we propose an approach that actively exploits the environment to grasp objects. We formulate the Slide-to-Wall grasping problem as a Markov Decision Process and propose a reinforcement learning approach. Though a standard Deep Q-Network (DQN) method is capable of solving MDP problems, it does not effectively generalize to unseen environment settings that are different from training. To tackle the generalization challenge, we propose a Knowledge Induced DQN (KI-DQN) that not only trains more effectively, but also outperforms the standard DQN significantly in testing cases with unseen walls, and can be directly tested on real robots without fine-tuning while DQN cannot.

研究の動機と目的

• 直接的なトップダウングリップが不可能な環境におけるロボットグリップの課題に対処すること、特にSlide-to-Wallシナリオに特化して。
• 標準的なDeep Q-Networks (DQN)が、新しい壁の位置や構成といった未観測環境で一般化性能に欠ける問題を克服すること。
• 環境知識を活用することでポリシーの一般化性能を向上させるとともに、微調整なしに直接現実世界に展開可能な強化学習手法を開発すること。
• Slide-to-Wallグリップタスクを、環境との構造的相互作用を戦略的一環として含むマルコフ決定過程（MDP）として定式化すること。

提案手法

• オブジェクトの位置、壁との距離、グリップの可能性に基づいて状態遷移と報酬をモデル化することで、Slide-to-Wallグリップタスクをマルコフ決定過程（MDP）として定式化する。
• 壁の幾何学的形状やオブジェクトの動的特性といったドメイン固有の知識を、DQNのニューラルネットワークアーキテクチャに統合し、ポリシー学習をガイドし、インダクティブバイアスを向上させる。
• 経験リプレイおよびターゲットネットワーク機構を変更し、環境的制約を符号化する知識に配慮した状態表現を組み込む。
• オブジェクトをグリップを試みる前に壁に向かって押し進めるよう促す報酬形状戦略を採用し、探索の効率を高める。
• シンボリックな環境知識をQ値推定プロセスに注入する知識インジェクションモジュールを導入し、学習分布を超えた一般化性能を向上させる。
• 訓練中に遭遇しなかった壁の位置や形状に対してもポリシーが一般化できるようにすることで、微調整なしに実機ロボットへのゼロショットデプロイメントを実現する。

実験結果

リサーチクエスチョン

• RQ1 知識拡張DQNアプローチは、標準DQNに比べ、Slide-to-Wallグリップタスクにおいて未観測の壁構成に優れた一般化性能を示すか？
• RQ2 DQNアーキテクチャに環境知識を統合することで、トレーニング中のサンプル効率とポリシーのロバスト性が向上するか？
• RQ3 提案されたKI-DQNポリシーは、標準DQNとは異なり、微調整なしに実機ロボットに直接デプロイ可能か？
• RQ4 ドメイン知識の統合が、ゼロショットテスト環境下でのエージェントの一般化性能にどのように影響するか？
• RQ5 知識インジェクションは、非トップダウングリップが中心の複雑なシナリオにおいて、グリップ成功率をどの程度向上させるか？

主な発見

• KI-DQNは、未観測の壁構成を含むテスト環境において、標準DQNに比べ顕著に優れた性能を示し、優れたゼロショット一般化性能を実証した。
• KI-DQNが学習したポリシーは、トレーニング中に遭遇しなかった新しい環境に対しても効果的に一般化され、未観測環境下での成功確率が標準DQNを上回った。
• KI-DQNは、微調整なしに実機ロボットに直接デプロイ可能である一方で、標準DQNは現実世界環境では一般化に失敗した。
• DQNフレームワークに環境知識を統合することで、サンプル効率が向上し、トレーニングの安定性が向上し、収束が速くなった。
• 知識を統合したアーキテクチャは、オブジェクトと壁の相互作用をより効果的に推論できる能力を向上させ、効果的なプッシュ・トゥ・ウォール戦略を可能にした。
• 定量的結果では、KI-DQNは標準DQNに比べ、未観測環境でのグリップ成功確率が高かったが、正確な数値は論文に記載されていない。