[논문 리뷰] Structured Control Nets for Deep Reinforcement Learning

Mario Srouji, Jian Zhang외 1명|arXiv (Cornell University)|2018. 02. 22.

Reinforcement Learning in Robotics참고 문헌 23인용 수 6

한 줄 요약

이 논문은 구조적 제어 네트워크(Structured Control Nets, SCN)를 제안한다. SCN은 정책을 별도의 비선형 및 선형 제어 모듈로 분할하는 새로운 딥 강화학습 정책 아키텍처이다. 전역적인 비선형 제어와 국소적인 선형 안정화를 조합함으로써, SCN은 샘플 효율성, 최종 에피소드 보상, 일반화 능력을 향상시킨다. PPO, ES, ACKTR를 사용하여 MuJoCo, Roboschool, Atari, 2D 주행 환경에서 다양한 환경에서 더 작은 네트워크로도 경쟁적인 성능을 달성한다.

ABSTRACT

In recent years, Deep Reinforcement Learning has made impressive advances in solving several important benchmark problems for sequential decision making. Many control applications use a generic multilayer perceptron (MLP) for non-vision parts of the policy network. In this work, we propose a new neural network architecture for the policy network representation that is simple yet effective. The proposed Structured Control Net (SCN) splits the generic MLP into two separate sub-modules: a nonlinear control module and a linear control module. Intuitively, the nonlinear control is for forward-looking and global control, while the linear control stabilizes the local dynamics around the residual of global control. We hypothesize that this will bring together the benefits of both linear and nonlinear policies: improve training sample efficiency, final episodic reward, and generalization of learned policy, while requiring a smaller network and being generally applicable to different training methods. We validated our hypothesis with competitive results on simulations from OpenAI MuJoCo, Roboschool, Atari, and a custom 2D urban driving environment, with various ablation and generalization tests, trained with multiple black-box and policy gradient training methods. The proposed architecture has the potential to improve upon broader control tasks by incorporating problem specific priors into the architecture. As a case study, we demonstrate much improved performance for locomotion tasks by emulating the biological central pattern generators (CPGs) as the nonlinear part of the architecture.

연구 동기 및 목표

• 제어 과제를 위한 딥 강화학습에서 샘플 효율성, 최종 에피소드 보상, 일반화 능력을 향상시키기.
• 기본 MLP 정책과 비교해 성능을 유지하거나 향상시키면서 네트워크 크기를 줄이기.
• 중앙 패턴 생성기(Central Pattern Generators, CPGs)와 같은 과제에 특화된 인덕티브 바이어스를 정책 네트워크 아키텍처에 통합해보기.
• 블랙박스 및 정책 기반 기반 최적화 방법을 포함한 다양한 환경과 학습 방법에서 아키텍처의 유효성 검증하기.
• 선형 및 비선형 제어의 이점을 조합함으로써 구조적 정책 네트워크가 일반적인 MLP보다 우수한 성능을 낼 수 있음을 보여주기.

제안 방법

• SCN은 정책 네트워크를 두 개의 병렬 스트림으로 분해한다: 비선형 제어 모듈과 선형 제어 모듈.
• 최종 행동은 두 모듈의 출력값의 합으로 계산된다: $ a = u^n + u^l $.
• 비선형 모듈은 전역적이고 미래 지향적인 제어를 모델링하기 위해 작은 MLP(예: 8개 유닛)로 구현된다.
• 선형 모듈은 비선형 출력의 잔차 주변의 국소적 동역학을 안정화시켜 강건성을 향상시킨다.
• 이동 과제의 경우 비선형 모듈은 CPG 유사 푸리에 급수로 대체된다: $ u^n_t = \sum_{i=1}^{16} A_i \sin(\omega_i t + \phi_i) $.
• 아키텍처는 PPO, ES, ACKTR와 같은 다양한 학습 방법과 호환되며, 아키텍처 수정 없이도 적용 가능하다.

실험 결과

연구 질문

• RQ1 정책을 비선형 및 선형 구성요소로 분할함으로써 딥 강화학습에서 샘플 효율성과 최종 성능을 향상시킬 수 있는가?
• RQ2 SCN 아키텍처는 MuJoCo, Roboschool, Atari, 2D 주행 시뮬레이터를 포함한 다양한 제어 환경에서 일반화되는가?
• RQ3 CPG와 같은 과제에 특화된 인덕티브 바이어스를 비선형 모듈에 효과적으로 통합하여 이동 과제 성능을 향상시킬 수 있는가?
• RQ4 기본 MLP 기준선과 비교해 상당히 작은 네트워크 크기로도 성능을 유지할 수 있는가?
• RQ5 정책 기반 기반 최적화 및 블랙박스 최적화 방법을 포함한 다양한 학습 알고리즘에서 SCN의 성능는 어떠한가?

주요 결과

• SCN-8는 60개의 Atari 게임에서 더 큰 MLP-512 기준선과 비교해 유사하거나 더 높은 평균 및 최종 에피소드 보상을 달성했으며, 네트워크 크기가 93% 작았다.
• 2D 도심 주행 환경에서 SCN은 일반화 능력과 최종 성능에서 MLP 기준선을 능가했으며, 특히 분포 이탈 상황에서도 뛰어난 성능을 보였다.
• MuJoCo 및 Roboschool 이동 과제에서 CPG 기반 SCN(Locomotor Net)은 표준 MLP보다 더 높은 최종 보상과 더 빠른 학습 속도를 달성했다.
• 비록 히든 유닛이 4개 뿐이지만, SCN-4는 많은 Atari 게임에서 MLP-8 성능을 따라하거나 초월했으며, 높은 샘플 효율성을 보였다.
• 제거 실험 결과, 비선형 모듈과 선형 모듈 둘 다 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 떨어졌다.
• SCN 아키텍처는 아키텍처 튜닝 없이도 ES, PPO, ACKTR를 포함한 다양한 환경과 학습 방법에서 일반화 능력을 향상시켰다.