[논문 리뷰] DiGrad: Multi-Task Reinforcement Learning with Shared Actions

Parijat Dewangan, S. Phani Teja외 3명|arXiv (Cornell University)|2018. 02. 27.

Reinforcement Learning in Robotics참고 문헌 17인용 수 5

한 줄 요약

이 논문은 공유 동작을 가진 연속 제어 환경에서 다중 작업 강화학습을 위한 딥 강화학습 프레임워크인 DiGrad를 제안한다. 미분 정책 기울기와 단일 공유 액터-크리틱 네트워크를 활용하여, 특히 8링크 평면 암과 27-DoF 인간형 로봇와 같은 복잡한 조작기에서 훈련을 안정화하고 DDPG보다 성능을 향상시킨다. 이는 공유 운동학적 체인을 가진 작업들 간에 더 빠른 수렴 속도와 더 뛰어난 강인성을 달성한다.

ABSTRACT

Most reinforcement learning algorithms are inefficient for learning multiple tasks in complex robotic systems, where different tasks share a set of actions. In such environments a compound policy may be learnt with shared neural network parameters, which performs multiple tasks concurrently. However such compound policy may get biased towards a task or the gradients from different tasks negate each other, making the learning unstable and sometimes less data efficient. In this paper, we propose a new approach for simultaneous training of multiple tasks sharing a set of common actions in continuous action spaces, which we call as DiGrad (Differential Policy Gradient). The proposed framework is based on differential policy gradients and can accommodate multi-task learning in a single actor-critic network. We also propose a simple heuristic in the differential policy gradient update to further improve the learning. The proposed architecture was tested on 8 link planar manipulator and 27 degrees of freedom(DoF) Humanoid for learning multi-goal reachability tasks for 3 and 2 end effectors respectively. We show that our approach supports efficient multi-task learning in complex robotic systems, outperforming related methods in continuous action spaces.

연구 동기 및 목표

• 공유 동작을 가진 연속 제어 환경에서 다중 작업 딥 강화학습의 불안정성과 성능 저하 문제를 해결하기 위해.
• 공유 파rameter를 가진 단일 복합 정책을 사용하여 다수의 작업을 효율적이고 안정적이며 강인하게 훈련할 수 있는 통합 프레임워크를 개발하기 위해.
• 특히 겹치는 동작 공간을 가진 분지형 조작기에서 일반화 능력을 향상시키고 부정적 기울기 간섭을 줄이기 위해.
• 8링크 평면 조작기와 27-DoF 인간형 로봇와 같은 복잡한 로봇 시스템에서 다중 목표 도달 작업에 대해 DiGrad의 효과성을 입증하기 위해.

제안 방법

• 모든 작업이 각각의 상태-행동 가치 함수를 가지며, 동시에 여러 결정적 정책을 학습할 수 있도록 단일 공유 액터-크리틱 네트워크를 사용한다.
• 각 작업에 해당하는 행동과 보상에 기반해 기울기를 계산하는 차별 정책 기울기 업데이트 규칙을 도입하여, 작업 간 간섭을 최소화한다.
• 훈련 안정성을 향상시키기 위해 공유 동작의 기울기 정규화 히우리스틱을 적용하며, 특히 식 (11)에 따라 공유 동작 값의 기울기를 정규화한다.
• 단일 크리틱 및 다중 크리틱 아키텍처를 모두 지원하며, 실험 결과 공유 파rameter의 향상된 공유와 상관관계 학습 덕분에 단일 크리틱 버전이 더 나은 성능을 보였다.
• DDPG 알고리즘을 기반으로 하되, 다중 작업 역학을 다루기 위해 작업별 가치 함수 업데이트와 차별 기울기 계산을 추가로 확장한다.
• 훈련은 공유 동작 공간을 가진 로봇 시스템에서 수행되며, 보상 형태 설계를 통해 작업별 진전을 반영하면서 한 작업이 다른 작업을 지배하지 않도록 한다.

실험 결과

연구 질문

• RQ1 공유 동작이 있는 연속 제어 환경에서, 차별 정책 기울기를 가진 통합 액터-크리틱 네트워크가 다중 작업 강화학습을 안정화할 수 있는가?
• RQ2 겹치는 동작 공간을 가진 다수의 작업에서 DiGrad는 수렴 속도, 최종 성능, 훈련 안정성 측면에서 DDPG와 비교해 어떻게 성능을 냈는가?
• RQ3 공유 동작의 기울기 정규화가 다중 작업 딥 강화학습의 훈련 안정성과 성능 향상에 기여하는가?
• RQ4 공유 파rameter를 사용할 때 단일 크리틱 아키텍처가 다중 크리틱 설정을 능가할 수 있는가?
• RQ5 DiGrad는 다중 목표 로봇 제어에서 부정적 기울기 간섭과 작업 지배 현상을 어느 정도 방지할 수 있는가?

주요 결과

• DiGrad는 테스트된 모든 환경에서 DDPG를 능가했으며, 8링크 평면 조작기와 27-DoF 인간형 로봇에서 더 빠른 수렴 속도와 더 높은 최종 평균 보상 수준을 달성했다.
• 단일 크리틱 DiGrad 프레임워크는 다중 크리틱 변종보다 더 나은 성능을 보였으며, 파라미터 수가 적고 작업 간 상관관계 학습이 향상되었다.
• 기울기 정규화 히우리스틱 적용으로 훈련 안정성이 향상되었으며, 특히 초기 훈련 단계에서 두드러졌다. 최종 성능에 큰 영향을 주지 않았다.
• DDPG는 부정적 기울기 간섭으로 인해 다중 작업 설정에서 불안정하고 작업 지배 현상이 발생했다. 특히 보상 합산 신호를 사용할 경우 두드러졌다.
• 8링크 조작기에서는 DiGrad가 각 작업의 동작 차원이 다를지라도 모든 세 가지 작업에서 일관된 성능을 유지했지만, DDPG는 오직 작업-2에서 성능을 따라했다.
• 인간형 로봇에서는 단일 크리틱 설정에서 히우리스틱을 적용한 DiGrad가 안정성과 최종 성능 측면에서 가장 뛰어난 결과를 보였으며, 시간이 지남에 따라 성능 저하 없이 일관된 성능 유지를 이룩했다.