[논문 리뷰] Contrasting Exploration in Parameter and Action Space: A Zeroth-Order Optimization Perspective

Anirudh Vemula, Wen Sun외 1명|arXiv (Cornell University)|2019. 01. 31.

Evolutionary Algorithms and Applications인용 수 16

한 줄 요약

이 논문은 제로번째 순서 최적화 이론을 활용해 강화학습에서 파라미터 공간 탐색과 액션 공간 탐색을 대비한다. 이는 파라미터 공간 방법이 정책 파라미터 차원 d에 따라 스케일링되며, 액션 공간 방법은 액션 차원 p와 환경의 시간 간격 H에 따라 영향을 받는다고 증명한다. 핵심 발견은 장수행 태스크에서 저차원 정책을 가진 경우 파라미터 공간 방법이 액션 공간 방법을 능가하는 반면, 단수행 또는 고차원 파라미터를 가진 설정에서는 액션 공간 방법이 더 우수하다는 것이다.

ABSTRACT

Black-box optimizers that explore in parameter space have often been shown to outperform more sophisticated action space exploration methods developed specifically for the reinforcement learning problem. We examine these black-box methods closely to identify situations in which they are worse than action space exploration methods and those in which they are superior. Through simple theoretical analyses, we prove that complexity of exploration in parameter space depends on the dimensionality of parameter space, while complexity of exploration in action space depends on both the dimensionality of action space and horizon length. This is also demonstrated empirically by comparing simple exploration methods on several model problems, including Contextual Bandit, Linear Regression and Reinforcement Learning in continuous control.

연구 동기 및 목표

• 블랙박스 파라미터 공간 최적화가 강화학습에서 액션 공간 탐색을 언제 초월하는지 이해하는 것.
• 제로번째 순서 최적화 이론을 사용해 두 탐색 전략의 표본 복잡도를 분석하는 것.
• 액션 공간 방법이 더 높은 분산에도 불구하고 언제 superior한지 조건을 규명하는 것.
• ARS와 같은 방법이 장수행 제어 태스크에서 경험적으로 성공한 데 이르는 이론적이고 경험적인 근거를 제공하는 것.
• 환경의 난류성이 제로번째 순서 정책 탐색의 수렴 속도에 미치는 영향을 명확히 하는 것.

제안 방법

• 제로번째 순서 최적화 이론을 활용해 파라미터 공간 및 액션 공간 탐색의 이론적 표본 복잡도 한계를 유도한다.
• 표본 복잡도를 비교하기 위해 일단계의 컨텍스트 밴딧 문제(부분 피드백이 있는 온라인 선형 회귀)를 분석한다.
• 비볼록 제로번째 순서 최적화를 통해 다단계 제어로 확장하고, 정류점에 수렴하는 데 대한 한계를 도출한다.
• 수영이와 하프체타 혼 환경에서 수평 길이를 다양하게 설정해 ARS(파라미터 공간)와 ExAct(액션 공간)를 경험적으로 평가한다.
• 기울기가 알려진 확률적 LQR 환경을 사용해 환경의 난류성이 수렴에 미치는 영향을 테스트한다.
• 차원, 수평 길이, 노이즈 등 제어된 변화에서 메서드 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 강화학습에서 파라미터 공간 탐색이 액션 공간 탐색을 언제 초월하는가?
• RQ2 파라미터 공간 방법의 표본 복잡도는 정책 파라미터 차원 d에 따라 어떻게 스케일링되는가?
• RQ3 액션 공간 방법의 표본 복잡도는 액션 차원 p와 수평 길이 H에 따라 어떻게 달라지는가?
• RQ4 환경의 난류성이 제로번째 순서 정책 탐색의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 왜 단순한 블랙박스 방법인 ARS가 장수행 벤치마크에서 정교한 액터-크리틱 방법보다 뛰어나게 성능을 내는가?

주요 결과

• 파라미터 공간 탐색은 정책 파라미터 차원 d에 대해 ϵ-근처의 정류점에 도달하기 위해 O(d²/ϵ³)개의 표본이 필요하다.
• 액션 공간 탐색은 액션 차원 p와 수평 길이 H에 명시적인 의존성을 보이며, O(p²H⁴/ϵ⁴)개의 표본이 필요하다.
• 짧은 수평 길이 태스크에서 고차원 d를 가진 경우, d에 대한 의존성이 없기 때문에 액션 공간 방법이 파라미터 공간 방법을 능가한다.
• 장수행 태스크에서 저차원 정책을 가진 경우, H에 대한 의존성이 없기 때문에 파라미터 공간 방법이 액션 공간 방법을 능가한다.
• 환경의 난류성이 증가할수록 두 방법 모두 수렴 속도가 느려지며, 더 높은 노이즈는 정류점에 도달하기 위해 더 많은 표본이 필요하다.
• 수영이와 하프체타 혼 환경에서의 경험적 결과는 이론적 예측를 확인한다: 수평 길이 H가 100을 초월할수록 ARS(파라미터 공간)가 ExAct(액션 공간)를 능가한다.