[논문 리뷰] Managing engineering systems with large state and action spaces through deep reinforcement learning

Charalampos Andriotis, Konstantinos G. Papakonstantinou|arXiv (Cornell University)|2018. 11. 05.

Safety Systems Engineering in Autonomy인용 수 19

한 줄 요약

이 논문은 고차원 상태 및 행동 공간을 가진 대규모 공학 시스템에서 효율적인 의사결정을 가능하게 하는 딥 강화학습 프레임워크인 딥 센트럴라이즈드 다중에이전트 액터-크리틱(Deep Centralized Multi-agent Actor Critic, DCMAC)을 제안한다. 행동의 분해 표현과 중심화된 가치 함수를 결합함으로써 DCMAC은 오프-폴리시 학습을 통해 최적의 수명주기 정책을 학습하며, 시뮬레이션에서 DQN, 정확한 MDP 해법, 기존의 조건 기반 또는 주기적 유지보수 정책을 능가한다.

ABSTRACT

Decision-making for engineering systems can be efficiently formulated as a Markov Decision Process (MDP) or a Partially Observable MDP (POMDP). Typical MDP and POMDP solution procedures utilize offline knowledge about the environment and provide detailed policies for relatively small systems with tractable state and action spaces. However, in large multi-component systems the sizes of these spaces easily explode, as system states and actions scale exponentially with the number of components, whereas environment dynamics are difficult to be described in explicit forms for the entire system and may only be accessible through numerical simulators. In this work, to address these issues, an integrated Deep Reinforcement Learning (DRL) framework is introduced. The Deep Centralized Multi-agent Actor Critic (DCMAC) is developed, an off-policy actor-critic DRL approach, providing efficient life-cycle policies for large multi-component systems operating in high-dimensional spaces. Apart from deep function approximations that parametrize large state spaces, DCMAC also adopts a factorized representation of the system actions, being able to designate individualized component- and subsystem-level decisions, while maintaining a centralized value function for the entire system. DCMAC compares well against Deep Q-Network (DQN) solutions and exact policies, where applicable, and outperforms optimized baselines that are based on time-based, condition-based and periodic policies.

연구 동기 및 목표

• 상태 공간과 행동 공간이 기하급수적으로 증가하는 대규모 다성분 공학 시스템을 관리하는 데 도전하는 데 목적을 두며.
• 환경의 동역학이 명시적 모델링이 어려운 복잡한 시스템에서 수치 시뮬레이터를 통해만 접근 가능한 환경에서 효과적인 의사결정을 가능하게 하는 데 목적을 두며.
• 개별 구성요소 수준의 의사결정을 지원하면서도 전체 시스템 최적성을 유지하는 스케일러블하고 샘플 효율적인 강화학습 접근법을 개발하는 데 목적을 두며.
• 복잡한 고차원 환경에서 기존의 유지보수 정책(시간 기반, 조건 기반, 주기적)과 표준 DRL 기준선을 능가하는 데 목적을 두며.

제안 방법

• 고차원 상태 및 행동 공간을 가진 다에이전트 시스템을 위한 오프-폴리시 액터-크리틱 딥 강화학습 프레임워크인 DCMAC을 제안한다.
• 심층 신경망을 사용하여 가치 함수와 정책 함수를 근사함으로써 고차원 연속 상태 공간에서의 함수 근사를 가능하게 한다.
• 요소별 행동 표현을 사용하여 구성요소 및 서브시스템에 대한 개별 제어를 가능하게 하면서도, 전체 최적화를 위한 중심화된 가치 함수를 유지한다.
• 경험 재생을 통해 안정적인 학습이 가능하도록 오프-폴리시 데이터를 사용하여 정책을 학습한다.
• 중앙집중적 훈련과 분산 실행을 통합함으로써 다성분 시스템에서의 확장 가능한 협업을 가능하게 한다.
• 명시적 해석적 공식이 필요 없이 수치 시뮬레이터를 활용하여 시스템 동역학을 모델링한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크가 고차원 상태 및 행동 공간을 가진 공학 시스템을 효과적으로 관리할 수 있는가?
• RQ2 요소별 행동 표현을 가진 중심화된 가치 함수는 다성분 시스템에서 정책 학습을 어떻게 향상시키는가?
• RQ3 DCMAC는 복잡한 공학 환경에서 DQN과 같은 표준 DRL 방법과 히우리스틱 유지보수 정책을 얼마나 능가할 수 있는가?
• RQ4 상태-행동 공간이 기하급수적으로 증가하는 시스템에 적용했을 때, 이 프레임워크는 확장성과 샘플 효율성을 유지할 수 있는가?

주요 결과

• DCMAC는 누적 수익과 정책 안정성 측면에서 딥 Q-네트워크(DQN) 솔루션보다 뛰어난 성능을 기록한다.
• 정확한 MDP 해법이 계산적으로 비현실적이게 되는 더 큰 시스템에서는 DCMAC이 정확한 MDP 해법을 능가한다.
• 시간 기반, 조건 기반, 주기적 유지보수 정책을 기반으로 최적화된 기준선보다 DCMAC은 성능이 뚜렷이 뛰어나다.
• 요소별 행동 표현의 사용은 중심화된 가치 함수 학습을 통해 전체 시스템 최적성을 유지하면서도 효과적인 개별 의사결정을 가능하게 한다.
• 오프-폴리시 학습 메커니즘은 샘플 효율성을 향상시켜 제한된 시뮬레이터 상호작용에서도 효과적인 학습을 가능하게 한다.