[논문 리뷰] Exploring Deep and Recurrent Architectures for Optimal Control

Sergey Levine|arXiv (Cornell University)|2013. 11. 07.

Human Pose and Action Recognition참고 문헌 22인용 수 15

한 줄 요약

이 논문은 지도된 정책 탐색을 사용하여 연속적이고 고차원적인 이동 작업에 대해 딥 및 순환 신경망을 제어 정책으로 조사한다. 여러 지형에서 훈련할 경우 더 깊고 순환적인 아키텍처가 얕은 네트워크보다 일반화 성능이 뛰어나지만, 복잡하고 변동성이 큰 환경에서 성능이 향상됨에도 불구하고 과적합과 국소 최적점은 여전히 심각한 과제로 남아 있다.

ABSTRACT

Sophisticated multilayer neural networks have achieved state of the art results on multiple supervised tasks. However, successful applications of such multilayer networks to control have so far been limited largely to the perception portion of the control pipeline. In this paper, we explore the application of deep and recurrent neural networks to a continuous, high-dimensional locomotion task, where the network is used to represent a control policy that maps the state of the system (represented by joint angles) directly to the torques at each joint. By using a recent reinforcement learning algorithm called guided policy search, we can successfully train neural network controllers with thousands of parameters, allowing us to compare a variety of architectures. We discuss the differences between the locomotion control task and previous supervised perception tasks, present experimental results comparing various architectures, and discuss future directions in the application of techniques from deep learning to the problem of optimal control.

연구 동기 및 목표

• 연속적이고 고차원적인 이동 작업에 대해 깊이 있는 및 순환 신경망이 효과적으로 제어 정책을 표현할 수 있는지 평가하는 것.
• 딥 러닝 아키텍처가 얕은 네트워크에 비해 제어에서 일반화 성능 및 내성 강도를 향상시키는지 조사하는 것.
• 伝통적 강화 학습 방법이 국소 최적점과 불안정성 문제로 어려움을 겪는 대규모 신경망을 위한 제어 훈련 과제를 해결하는 것.
• 다양한 지형 환경에서 아키텍처의 복잡성(깊이, 순환성)이 정책 성능에 미치는 영향을 조사하는 것.
• 과적합과 국소 최적점과 같은 제약 조건을 식별하고, 이를 완화할 수 있는 전략을 탐색하는 것.

제안 방법

• 지속적인 정책 학습을 위해 궤적 최적화와 정책 최적화를 조합한 지도된 정책 탐색(GPS) 알고리즘을 사용한다.
• 비선형 최적화 알고리즘(LBFGS 또는 SGD 등)을 사용하여 정책을 반복적으로 향상시키며, 다양한 제어기 아키텍처와의 호환성을 보장한다.
• 연속적이고 고차원적인 상태-행동 공간을 사용하여 관절 각도를 관절 토크로 직접 매핑하는 신경망 제어기를 훈련시킨다.
• 다양한 은닉 유닛 수와 활성화 함수(ReLU, 하드 ReLU)를 가진 얕은, 깊은, 순환 아키텍처를 비교한다.
• 예시 시연를 사용하여 정책를 초기화하고 상태 공간의 고보상 영역으로 향한 최적화를 안내한다.
• 정규화 기법(예: 희소성 정규화)을 적용하지만, 실험 설정에서는 성능 저하를 초래하는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 깊이 있는 및 순환 신경망이 연속적이고 고차원적인 이동 작업에서 얕은 네트워크보다 제어 정책으로서 성능을 뛰어나게 할 수 있는가?
• RQ2 아키텍처의 깊이와 순환성은 여러 지형 도메인 간의 일반화에 어떤 영향을 미치는가?
• RQ3 과적합과 국소 최적점은 복잡한 신경망 정책의 훈련을 얼마나 심각하게 방해하는가?
• RQ4 훈련 도메인의 수를 늘리면 깊이 있는 및 순환 제어 정책의 일반화 성능이 향상되는가?
• RQ5 정규화 또는 최적화 수정을 통해 신경망 기반 제어 정책에서 국소 최적점과 과적합 문제를 완화할 수 있는가?

주요 결과

• 다양한 지형 도메인에서 훈련할 경우 깊이 있는 및 순환 네트워크는 얕은 네트워크보다 약간이지만 일관된 일반화 성능 향상을 보였다.
• 특히 더 복잡한 아키텍처일수록 시연 및 특정 지형 유형에 대한 과적합 문제가 심각한 문제로 나타났다.
• 훈련 도메인 수가 증가할수록 국소 최적점 문제의 영향이 커져 깊은 네트워크의 성능 향상이 제한되었다.
• 희소성 정규화는 성능을 떨어뜨리는 것으로 나타났으며, 이는 상태 특징의 통계적 성질이 이러한 정규화 기법을 이 맥락에서 효과적으로 작용하지 못하게 함을 시사한다.
• 대규모 네트워크의 성능은 충분히 많은 수의 훈련 도메인에 의존적이며, 이는 일반적인 RL 벤치마크에서 종종 간과되는 점이다.
• 현재 방법이 막대한 계산 자원(예: 각 기울기 단계당 126만 번의 전파/역전파)을 요구하므로, 향후 연구에서는 확장 가능한 최적화 기법(예: 확률적 경사 하강법)이 필수적일 것이다.