[논문 리뷰] Acquiring Target Stacking Skills by Goal-Parameterized Deep Reinforcement Learning

Wenbin Li, Jeannette Bohg외 1명|arXiv (Cornell University)|2017. 11. 01.

Reinforcement Learning in Robotics참고 문헌 22인용 수 3

한 줄 요약

이 논문은 정책 네트워크에 목표 상태를 직접 통합함으로써 물리 시뮬레이션 환경에서 블록 쌓기 기술을 학습할 수 있도록 목표 매개변수화된 딥 강화학습(GDQN)을 제안한다. 표준 DQN에 비해 다양한 목표 구조에 대해 뛰어난 일반화 성능을 보이며, 4블록 작업에서 성공률이 0.00에서 0.17으로 향상되고 보상 형태 조정을 통해 오버랩 비율이 0.79에 도달한다.

ABSTRACT

Understanding physical phenomena is a key component of human intelligence and enables physical interaction with previously unseen environments. In this paper, we study how an artificial agent can autonomously acquire this intuition through interaction with the environment. We created a synthetic block stacking environment with physics simulation in which the agent can learn a policy end-to-end through trial and error. Thereby, we bypass to explicitly model physical knowledge within the policy. We are specifically interested in tasks that require the agent to reach a given goal state that may be different for every new trial. To this end, we propose a deep reinforcement learning framework that learns policies which are parametrized by a goal. We validated the model on a toy example navigating in a grid world with different target positions and in a block stacking task with different target structures of the final tower. In contrast to prior work, our policies show better generalization across different goals.

연구 동기 및 목표

• 물리 모델링을 명시적으로 수행하지 않고도 시행착오를 통해 인공 에이전트가 물리적 상호작용 기술을 자율적으로 학습할 수 있도록 하는 것.
• 예를 들어 블록을 다양한 목표 구성으로 쌓는 조작 작업에서 다양한 목표 상태 간의 정책 일반화 문제를 해결하는 것.
• 목표 정보를 정책 네트워크에 직접 통합하여 일반화 성능을 향상시킬 수 있는 딥 강화학습 프레임워크를 개발하는 것.
• 제안된 프레임워크를 격자 기반 탐색 작업과 다양한 목표 구조를 가진 복잡한 블록 쌓기 작업에 대해 검증하는 것.

제안 방법

• 논문은 현재 상태와 목표 임베딩을 입력으로 받아 액션 정책을 생성하는 목표 매개변수화된 딥 Q네트워크(GDQN)를 도입한다.
• 목표는 벡터로 인코딩되어 관측 상태와 연결되어 특정 목표 구성으로 향하는 정책를 안내한다.
• 경험 재생 및 타겟 네트워크를 사용하는 딥 강화학습 프레임워크를 사용하며, DQN와 유사하지만 목표 조건 학습을 처리하도록 확장한다.
• 학습 효율성과 최종 성능 향상을 위해 오버랩 비율과 거리 변환을 사용한 보상 형태 조정을 적용한다.
• 물리 기반 동역학을 갖춘 시뮬레이션 환경에서 블록 쌓기 작업을 위한 엔드 투 엔드 학습을 수행한다.
• 학습 과정에는 에psilon-그리디 탐색과 함께 점차 감소하는 전략 및 크기가 200K 스텝인 재생 버퍼가 포함된다.

실험 결과

연구 질문

• RQ1 단일 딥 강화학습 정책이 블록 쌓기 작업에서 여러 개의 서로 다른 목표 상태에 일반화될 수 있는가?
• RQ2 정책 네트워크에 목표 정보를 통합하는 것이 표준 DQN에 비해 일반화 성능에 어떤 영향을 미치는가?
• RQ3 오버랩 비율과 거리 변환을 활용한 보상 형태 조정이 정책 성능과 샘플 효율성에 얼마나 기여하는가?
• RQ4 제안된 목표 매개변수화된 프레임워크가 블록 수가 증가함에 따라 더 복잡한 목표 구조로도 효과적으로 일반화되는가?

주요 결과

• 5×5 격자 기반 탐색 작업에서 GDQN은 DQN의 0.67에 비해 성공률 0.97을 달성하여 랜덤 시작 위치와 목표 위치 간 강력한 일반화 성능을 입증했다.
• 2블록 쌓기 작업에서 GDQN은 성공률 0.72와 오버랩 비율 0.82를 기록했으며, DQN의 0.70 성공률과 0.70 오버랩 비율에 비해 뚜렷한 우월성을 보였다.
• 4블록 쌓기 작업에서 DQN은 성공률 0.00과 오버랩 비율 0.03으로 완전히 실패했지만, GDQN은 성공률 0.17과 오버랩 비율 0.41을 기록했다.
• 거리 변환을 사용한 보상 형태 조정을 통해 GDQN은 4블록 작업에서 성공률 0.56과 오버랩 비율 0.79를 달성했으며, 형태 조정이 없는 GDQN에 비해 상당한 향상을 보였다.
• 작업 복잡도가 증가함에 따라 DQN과 GDQN 간 성능 격차가 커지며, 이는 GDQN이 더 어려운 목표에서 뛰어난 일반화 능력을 지닌다는 것을 시사한다.
• 결과는 목표 매개변수화된 학습이 블록 수가 증가함에 따라 다양한 목표 구조를 효과적으로 처리할 수 있는 단일 정책을 가능하게 한다는 것을 확인한다.