[논문 리뷰] Reinforcement Learning with Function-Valued Action Spaces for Partial Differential Equation Control

Yangchen Pan, Amir‐massoud Farahmand외 4명|arXiv (Cornell University)|2018. 06. 13.

Reinforcement Learning in Robotics참고 문헌 38인용 수 5

한 줄 요약

이 논문은 부분 미분 방정식(PDE) 제어에서 기능 값이 있는 행동 공간을 갖는 강화학습을 가능하게 하기 위해 행동 기술자(behavior descriptors)를 도입한다. 이는 고차원적이고 공간적으로 구조화된 행동에 대해 효율적인 학습을 가능하게 한다. 공간적 규칙성을 인코딩함으로써, 기존의 강화학습 방법에 비해 샘플 효율성을 향상시키고, 최대 200차원의 행동 공간에서 뛰어난 성능을 달성한다.

ABSTRACT

Recent work has shown that reinforcement learning (RL) is a promising approach to control dynamical systems described by partial differential equations (PDE). This paper shows how to use RL to tackle more general PDE control problems that have continuous high-dimensional action spaces with spatial relationship among action dimensions. In particular, we propose the concept of action descriptors, which encode regularities among spatially-extended action dimensions and enable the agent to control high-dimensional action PDEs. We provide theoretical evidence suggesting that this approach can be more sample efficient compared to a conventional approach that treats each action dimension separately and does not explicitly exploit the spatial regularity of the action space. The action descriptor approach is then used within the deep deterministic policy gradient algorithm. Experiments on two PDE control problems, with up to 256-dimensional continuous actions, show the advantage of the proposed approach over the conventional one.

연구 동기 및 목표

• 강화학습에서 고차원적이고 연속적이며 기능 값이 있는 행동 공간을 갖는 PDE 제어의 과제를 해결하기 위해.
• 기존 강화학습 방법이 忽시하는 행동 차원 간의 공간적 규칙성을 명시적으로 모델링하여 샘플 효율성을 향상시키기 위해.
• 행동 차원 증가에 비해 아키텍처가 변하지 않는 스케일러블한 딥 강화학습 프레임워크를 개발하기 위해.
• 복잡한 공간적 동역학을 갖는 실제 PDE 제어 문제에서 행동 기술자의 효과성을 입증하기 위해.

제안 방법

• 행동 차원 간의 공간적 관계를 인코딩하는 행동 기술자를 행동의 매개변수화 방식으로 제안하여, 고차원 행동 공간 전반에 걸쳐 일반화를 가능하게 한다.
• 딥 디터미니스틱 포리시(DDPG) 알고리즘에 행동 기술자를 통합하여, 정책 네트워크가 원시 행동이 아닌 기술자를 출력하도록 한다.
• 기본적으로 출력 차원이 필요한 행동 차원보다 작은 경우에도 실행 가능한 행동으로 매핑할 수 있는 미분 가능 어댑터 함수를 사용한다.
• 행동 차원에 관계없이 크기가 고정된 신경망 아키텍처를 사용하며, 기술자가 학습 가능한 공간적으로 구조화된 파라미터로 기능한다.
• 연속적인 공간 행동 공간을 갖는 PDE 제어 문제에 프레임워크를 적용한다. 예를 들어, 분포된 에어컨을 갖는 실내 온도 조절과 같은 사례이다.
• 고온과 행동 비용을 페널티로 삼는 보상 함수를 사용하며, 온도 기준치와 정규화를 통해 안정적인 학습을 보장한다.

실험 결과

연구 질문

• RQ1 행동 기술자가 고차원 행동 공간을 갖는 PDE 제어의 강화학습에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 공간적으로 확장된 행동을 갖는 PDE 제어 시, 제안된 방법이 표준 DDPG에 비해 어떻게 성능을 내는가?
• RQ3 공간적으로 구조화된 행동 기술자를 사용할 경우, PDE 제어 과제에서 더 나은 일반화와 더 빠른 수렴이 이루어지는가?
• RQ4 행동 차원 증가에 따라 아키텍처 변경 없이 매우 고차원 행동 공간(예: 200차원)까지 얼마나 잘 스케일업할 수 있는가?
• RQ5 행동 차원과 제어 액추에이터의 공간적 레이아웃 변화에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 행동 기술자 방법은 Heat Invader 환경에서 테스트된 모든 행동 차원(1, 25, 50, 100, 200)에서 표준 DDPG보다 유의미하게 높은 평균 누적 보상을 달성했다.
• 200차원 행동을 사용할 경우, 행동 기술자 방법은 표준 DDPG에 비해 상당한 격차를 확보하여 뛰어난 샘플 효율성과 정책 품질을 입증했다.
• 1차원 행동 출력조차도 기술자 기반 방법이 표준 DDPG보다 더 나은 성능을 보였으며, 이는 기술자 기반 표현이 낮은 행동 해상도에도 효과적인 제어를 가능하게 한다는 것을 시사한다.
• 메모리 기반 학습 곡선이 안정적으로 유지되었고, 특히 정책이 불필요하게 팬을 작동시키는 것을 피하는 법을 학습함에 따라 일관된 향상이 관찰되었다.
• 균일한 공기 흐름과 와이어 흐름을 모두 실험하여, 행동 기술자 방법이 다양한 물리적 동역학과 제어 메커니즘에 일반화됨을 확인했다.
• 1차원 행동을 통한 사전 검증 실험에서 표준 DDPG는 제어 해상도가 부족해 좋은 정책을 학습하지 못했지만, 기술자 기반 방법은 여전히 성공을 거두었으며, 이는 기술자의 표현적 우수성을 강조한다.