[논문 리뷰] Knowledge Induced Deep Q-Network for a Slide-to-Wall Object Grasping.

Hengyue Liang, Xibai Lou외 1명|arXiv (Cornell University)|2019. 10. 09.

Robot Manipulation and Learning참고 문헌 15인용 수 15

한 줄 요약

이 논문은 로봇이 벽과 같은 환경적 제약 조건을 능동적으로 활용하여 Slide-to-Wall 잡기 작업을 해결할 수 있도록 돕는 지식 유도 딥 Q-네트워크(KI-DQN)를 제안한다. DQN 프레임워크에 도메인 지식을 통합함으로써 KI-DQN은 미리 보지 못한 벽 구성을 더 잘 일반화하고, 보정 없이 그대로 실세계에 구현할 수 있으며, 표준 DQN보다 제로샷 테스트 환경에서 뛰어난 성능을 보인다.

ABSTRACT

In robotic grasping tasks, robots usually avoid any collisions with the environment and exclusively interact with the target objects. However, the environment can facilitate grasping rather than being obstacles. Indeed, interacting with the environment sometimes provides an alternative strategy when it is not possible to grasp from the top. One example of such tasks is the Slide-to-Wall grasping, where the target object needs to be pushed towards a wall before a feasible grasp can be applied. In this paper, we propose an approach that actively exploits the environment to grasp objects. We formulate the Slide-to-Wall grasping problem as a Markov Decision Process and propose a reinforcement learning approach. Though a standard Deep Q-Network (DQN) method is capable of solving MDP problems, it does not effectively generalize to unseen environment settings that are different from training. To tackle the generalization challenge, we propose a Knowledge Induced DQN (KI-DQN) that not only trains more effectively, but also outperforms the standard DQN significantly in testing cases with unseen walls, and can be directly tested on real robots without fine-tuning while DQN cannot.

연구 동기 및 목표

• 직접적인 상단에서의 잡기 작업이 불가능한 환경에서의 로봇 잡기 과제를 해결하기 위해, 특히 Slide-to-Wall 시나리오에서의 과제를 해결한다.
• 새로운 벽 위치나 구성 등 실제 테스트 환경에서의 성능이 열악한 표준 딥 Q-네트워크(DQN)의 일반화 능력 부족 문제를 해결한다.
• 환경 지식을 활용하여 정책의 일반화 능력을 향상시키고, 보정 없이 그대로 실세계에 구현 가능한 강화 학습 방법을 개발한다.
• Slide-to-Wall 잡기 과제를 환경 상호작용의 구조적 특성을 해결 전략의 일부로 포함한 마르코프 결정 과정(MDP)으로 공식화한다.

제안 방법

• 객체의 위치, 벽과의 거리, 잡기 가능성을 기반으로 상태 전이와 보상을 모델링하는 방식으로 Slide-to-Wall 잡기 과제를 마르코프 결정 과정(MDP)으로 공식화한다.
• 벽의 기하학적 특성과 물체의 역학적 특성과 같은 도메인 전문 지식을 DQN의 신경망 아키텍처에 통합하여 정책 학습을 이끌고 인덕티브 바이어스를 향상시킨다.
• 지식 기반 상태 표현을 환경 제약 조건을 인코딩하도록 경험 재생 및 타겟 네트워크 메커니즘을 수정하여 DQN의 구조를 개선한다.
• 물체를 잡기 전에 벽 쪽으로 밀도록 유도하는 보상 형태를 적용하여 탐색 효율성을 높이는 전략을 사용해 KI-DQN 에이전트를 훈련시킨다.
• 기호적 환경 지식을 Q-값 추정 과정에 주입하는 지식 통합 모듈을 도입하여, 훈련 분포를 초월한 일반화 능력을 향상시킨다.
• 훈련 중에 만난 바와 다른 벽 위치나 형태에 대해 정책이 일반화되도록 보장하여, 보정 없이 실제 로봇에 직접 구현할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 지식 증강 DQN 접근 방식이 표준 DQN보다 Slide-to-Wall 잡기 과제에서 새로운 벽 구성에 대해 더 잘 일반화할 수 있는가?
• RQ2 DQN 아키텍처에 환경 지식을 통합하면 훈련 중 샘플 효율성과 정책의 강건성이 향상되는가?
• RQ3 제안된 KI-DQN 정책은 표준 DQN과 달리 보정 없이 실제 로봇에 직접 구현 가능한가?
• RQ4 도메인 지식의 통합이 제로샷 테스트 환경에서 에이전트의 일반화 성능에 어떤 영향을 미치는가?
• RQ5 지식 통합이 복잡한 비상단 잡기 시나리오에서의 잡기 성공률을 얼마나 향상시키는가?

주요 결과

• KI-DQN은 새로운 벽 구성이 포함된 테스트 환경에서 표준 DQN보다 뚜렷이 뛰어난 성능을 보이며, 뛰어난 제로샷 일반화 능력을 입증한다.
• KI-DQN가 학습 중에 만난 바 없는 환경에도 효과적으로 일반화되어, 새로운 환경에서 표준 DQN보다 높은 성공률을 달성한다.
• KI-DQN은 보정 없이 실제 로봇에 직접 구현 가능하지만, 표준 DQN은 실세계 환경에서 일반화에 실패한다.
• 환경 지식을 DQN 프레임워크에 통합함으로써 샘플 효율성이 향상되고 훈련이 안정화되어 더 빠른 수렴을 이끌어낸다.
• 지식이 통합된 아키텍처는 물체-벽 상호작용에 대한 추론 능력을 향상시켜 효과적인 밀고 벽에 붙이는 전략을 가능하게 한다.
• 정량적 결과는 KI-DQN이 표준 DQN보다 새로운 환경에서 더 높은 잡기 성공률을 기록함을 보여주지만, 원본 자료에는 정확한 수치 값은 제공되지 않았다.