[논문 리뷰] Learning to Run with Actor-Critic Ensemble

Zhewei Huang, Shuchang Zhou외 2명|arXiv (Cornell University)|2017. 12. 25.

Reinforcement Learning in Robotics참고 문헌 3인용 수 17

한 줄 요약

이 논문은 여러 개의 액터가 다양한 동작을 생성하고, 추론 시에 가장 높은 점수를 받고 안전한 동작을 선택하는 크리틱 앙상블을 사용함으로써 딥 디터미니스틱 폴리시 그레디언트(DDPG)를 향상시키는 액터-크리틱 앙상블(ACE)을 제안한다. ACE는 추락을 유발하는 치명적인 '도밍 액션'을 줄여 안정성과 성능을 향상시키며, 100편의 에피소드 중 평균 보상 39.26점과 4회의 추락을 기록하여 DDPG의 평균 보상 0점과 25회의 추락을 능가한다.

ABSTRACT

We introduce an Actor-Critic Ensemble(ACE) method for improving the performance of Deep Deterministic Policy Gradient(DDPG) algorithm. At inference time, our method uses a critic ensemble to select the best action from proposals of multiple actors running in parallel. By having a larger candidate set, our method can avoid actions that have fatal consequences, while staying deterministic. Using ACE, we have won the 2nd place in NIPS'17 Learning to Run competition, under the name of "Megvii-hzwer".

연구 동기 및 목표

• DDPG에서 불안정성으로 인해 한 명의 액터가 복구 불가능한 추락을 유발하는 치명적인 '도밍 액션'이 발생하는 문제를 해결하기 위해.
• 추론 시에 다양한 후보 동작 집합에서의 동작 선택을 통해 연속 제어에서 샘플 효율성과 안정성을 향상시키기 위해.
• 이종적인 액터와 크리틱을 활용하여 결정 품질을 향상시키는 앙상블 학습을 액터-크리틱 프레임워크에서 탐색하기 위해.
• NIPS 2017 러닝하기 학습 경연 대회에서 2등을 차지하여 뛰어난 성능을 달성하기 위해.

제안 방법

• 다양한 초모수를 사용하여 표준 DDPG를 통해 독립적으로 여러 액터-크리틱 쌍을 훈련시어 이종적인 액터를 생성한다.
• 추론 시에 병렬로 여러 액터를 배치하여 동시에 동작을 제안함으로써 동작 후보 집합을 확장한다.
• 크리틱 앙상블—액터와 짝을 이룬 여러 크리틱의 출력을 평균화하여 Q-값이 가장 높은 동작을 평가하고 선택한다.
• 훈련 중 벨먼 업데이트를 수정하여 선택되지 않은 액터의 동작일지라도 모든 액터가 업데이트될 수 있도록 하여 정책 학습 효율성을 향상시킨다.
• 스케일드 지수선형 유닛(SELU)을 활성화 함수로 사용하며, 이는 ReLU, Leaky ReLU, Tanh, Sigmoid보다 경험적으로 우수한 성능을 보인다.
• 훈련을 가속화하고 장수평 태스크에서의 기울기 소실 문제를 완화하기 위해 더 큰 시뮬레이션 타임스텝(4배)을 사용한다.

실험 결과

연구 질문

• RQ1 액터와 크리틱의 앙상블은 치명적인 '도밍 액션'을 피함으로써 연속 제어에서 안정성을 향상시킬 수 있는가?
• RQ2 이종적인 액터와 크리틱을 사용할 경우 동일하거나 에포크 기반 모델보다 성능이 향상되는가?
• RQ3 다양한 후보 집합에서 추론 시 동작 선택을 통해 장수평 이동 태스크에서 추락 빈도를 크게 줄일 수 있는가?
• RQ4 표준 DDPG와 비교할 때 앙상블 기반 동작 선택은 평균 및 최대 에피소드 보상 측면에서 어떻게 성능을 냈는가?

주요 결과

• 10명의 액터와 10명의 크리틱을 사용한 ACE(A10C10)는 평균 보상 39.2579점을 기록하여 DDPG(A1C0)의 32.0789점보다 유의미하게 높았다.
• 추락 횟수는 A1C0의 25회에서 A10C10의 4회로 감소하여 안정성이 향상됨을 입증했다.
• 최대 에피소드 보상은 A1C0의 41.4203점에서 A10C10의 41.9507점으로 상승하여 성능의 상한선이 향상됨을 보여주었다.
• 동일하거나 에포크 기반 모델 대비 이종적인 액터와 크리틱을 사용할 경우 성능 향상이 있었으며, 앙상블 다양성의 이점이 뒷받침됨을 확인했다.
• ACE로 훈련한 결과와 추론 시 ACE를 사용한 결과가 유사하여, 훈련과 추론 간 정책 학습이 안정적임을 시사했다.
• SELU 활성화 함수는 ReLU, Leaky ReLU, Tanh, Sigmoid보다 훈련 안정성과 최종 성능 측면에서 뛰어난 성능을 보였다.