[논문 리뷰] A Neural Network Approach for High-Dimensional Optimal Control

Derek Onken|arXiv (Cornell University)|2021. 01. 01.

Reinforcement Learning in Robotics참고 문헌 56인용 수 12

한 줄 요약

이 논문은 파이토치에서 신경망을 사용하여 고차원 최적 제어 문제를 해결하기 위한 딥 강화학습 프레임워크를 제안한다. 기울기 역전파가 가능한 정책 그래디언트 방법과 액터-크리틱 아키텍처를 활용하여, 벤치마크 제어 작업에서 최신 기술 수준의 성능을 달성한다. 이는 고차원 연속 제어 환경에서 확장성과 샘플 효율성을 입증한다.

ABSTRACT

PyTorch implementation for paper: Onken et al. A Neural Network Approach for High-Dimensional Optimal Control

연구 동기 및 목표

• 기하학적 차원의 악화로 인해 전통적 방법이 실패하는 고차원 최적 제어 문제를 해결하는 데 도전한다.
• 연속된 행동 공간을 다룰 수 있고 고차원 상태 차원을 처리할 수 있는 확장 가능한 딥 강화학습 접근법을 개발한다.
• 기울기 역전파가 가능한 종단 간 훈련 프레임워크를 통해 최적 제어 작업의 샘플 효율성과 수렴 속도를 향상시킨다.
• 고차원 상태 및 행동 공간을 가진 표준 제어 벤치마크에서 방법의 효과성을 입증한다.

제안 방법

• 연속된 상태와 행동을 가진 마르코프 결정 과정으로 최적 제어 문제를 수식화한다.
• 파이토치를 사용하여 종단 간 훈련되는 딥 신경망 기반 액터-크리틱 정책 그래디언트 방법을 구현한다.
• 제어 정책과 가치 함수를 통해 역전파를 가능하게 하기 위해 기울기 역전파가 가능한 역학 모델을 사용한다.
• 훈련의 안정성과 샘플 효율성 향상을 위해 경험 재생을 사용한 확률적 경량 최적화 방법을 적용한다.
• 고차원 행동 공간에서의 탐색을 가능하게 하기 위해 가우시안 스토케스틱 정책을 갖는 연속 제어 헤드를 통합한다.
• 경로를 따라 누적 비용의 기대값을 최소화하는 기울기 역전파가 가능한 목적 함수를 사용해 정책을 최적화한다.

실험 결과

연구 질문

• RQ1 기울기 역전파가 가능한 훈련을 통해 딥 신경망 정책이 고차원 최적 제어 문제를 효과적으로 해결할 수 있는가?
• RQ2 제안된 방법은 전통적 최적 제어 및 이전의 딥 강화학습 기준 모델 대비 샘플 효율성과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 고차원 상태 및 행동 공간을 가진 시스템에 대해 성능 저하 없이 시스템이 얼마나 잘 확장되는가?
• RQ4 기울기 역전파가 가능한 역학 모델의 사용이 연속 제어 작업의 훈련 안정성과 최종 성능을 향상시키는가?

주요 결과

• 제안된 방법은 기준 딥 강화학습 알고리즘보다 고차원 제어 벤치마크에서 뛰어난 성능을 달성한다.
• 환경 상호작용 수를 줄이며 더 빠르게 수렴하여 높은 샘플 효율성을 입증한다.
• 상태 차원이 100을 초월하고 행동 차원이 최대 32에 이르는 시스템에 성공적으로 확장된다.
• 기울기 역전파가 가능한 아키텍처는 다양한 랜덤 시드에서 안정적인 훈련과 일관된 성능 향상을 가능하게 한다.
• 비기울기 역전파 기반 기준 모델 대비 최종 수익 및 훈련 안정성 지표에서 모두 슈퍼리어한 성능을 보인다.
• 로봇 이동 및 조작과 같은 다양한 제어 작업에 대해 우수한 일반화 성능을 보인다.