[논문 리뷰] Evaluating the Performance of Reinforcement Learning Algorithms

Scott M. Jordan, Yash Chandak외 3명|arXiv (Cornell University)|2020. 06. 30.

Evolutionary Algorithms and Applications인용 수 19

한 줄 요약

이 논문은 강화학습(RL) 알고리즘에 대한 원칙적이고 종합적인 평가 방법론을 제안하며, 성능 보고의 이질성 문제를 해결하기 위해 성능 백분위수, 게임 이론적 집계 측정법, 성능 경계 전파(PBP)를 도입하여 불확실성을 정량화한다. 이 방법은 환경 간 신뢰할 수 있고 재현 가능한 비교를 가능하게 하며, 하이퍼파라미터 조정을 최소화한 Sarsa(λ)-Parl2와 PPO가 평균적으로 가장 우수한 성능을 보임을 보여준다.

ABSTRACT

Performance evaluations are critical for quantifying algorithmic advances in reinforcement learning. Recent reproducibility analyses have shown that reported performance results are often inconsistent and difficult to replicate. In this work, we argue that the inconsistency of performance stems from the use of flawed evaluation metrics. Taking a step towards ensuring that reported results are consistent, we propose a new comprehensive evaluation methodology for reinforcement learning algorithms that produces reliable measurements of performance both on a single environment and when aggregated across environments. We demonstrate this method by evaluating a broad class of reinforcement learning algorithms on standard benchmark tasks.

연구 동기 및 목표

• 성능 보고의 이질성 원인으로서 잘못된 평가 지표를 규명함으로써 RL 분야의 재현성 위기를 해결한다.
• 불확실성을 정량화하고 RL 알고리즘의 실제 적용 가능성 반영을 위한 과학적 평가 절차를 개발한다.
• 특정 환경이나 정규화 방법에 대한 편향을 피함으로써 공정성과 비악용성을 확보한다.
• 표준 연구자들이 특수 자원 없이도 결과를 재현할 수 있도록 계산의 타당성을 확보한다.
• 일반적인 평가 질문에 답한다: 어떤 알고리즘이 최소한의 튜닝으로 다양한 환경에서 뛰어난 성능을 내는가?

제안 방법

• 각 환경 내에서 알고리즘 성능을 순위 매김함으로써 환경 간 비교가 가능한 정규화된 상대적 성능 측정법으로 성능 백분위수를 도입한다.
• 게임 이론적 접근을 활용해 환경 간 결과를 공정하게 조합하는 집계 성능 측정법을 구성하며, 가중치 기반 기여도를 반영한다.
• 성능 경계 전파(PBP)를 적용하여 평가 파이프라인 전반에 걸쳐 불확실성을 철저히 정량화하고 전파하며, 신뢰구간을 포함한다.
• 환경 간 정규화된 점수의 가중 기대값으로 집계 성능 측정법을 정의함으로써 강건성과 해석 가능성 확보.
• 누적분포함수(CDF)와 분위수함수를 사용하여 랜덤 시드와 확률적 요인에 의한 성능 변동성 모델링.
• 다양한 환경 간 동일한 척도로 변환하는 함수 g(x,j)를 사용해 점수를 정규화함으로써 비교 가능성 향상.

실험 결과

연구 질문

• RQ1 어떤 RL 알고리즘이 최소한의 하이퍼파라미터 튜닝으로 다양한 환경에서 높은 성능을 달성하는가?
• RQ2 RL에서의 성능 평가를 더 신뢰성 있고 재현 가능하며 과학적으로 엄밀하게 만들 수 있는가?
• RQ3 RL 결과의 불확실성과 변동성이 알고리즘 비교 및 선별에 어떤 영향을 미치는가?
• RQ4 특정 알고리즘을 선호하지 않는 통합 평가 프레임워크를 통해 다양한 환경 간 공정한 알고리즘 비교가 가능한가?
• RQ5 성능 측정의 불확실성은 평가 과정 전반에 걸쳐 어떻게 정량화하고 전파될 수 있는가?

주요 결과

• Sarsa(λ)-Parl2와 PPO는 모든 환경에서 일관되게 상위 알고리즘으로 순위 매겨지며, Sarsa(λ)-Parl2는 그리드월드 10 디터미니스틱(평균: -12.2)과 핀볼 싱글(평균: 3754.6)에서 최고의 평균 성능 기록.
• 성능 백분위수로 인해 서로 다른 수익률 척도를 가진 환경 간 성능가 정규화되어 공정한 비교 가능; 예를 들어 Sarsa-Parl2는 핀볼 박스에서 평균 성능 8823.2를 기록했고, 95% 신뢰구간은 (8513.4, 8998.4)였다.
• 성능 경계 전파(PBP)는 불확실성을 성공적으로 정량화하며, 신뢰구간이 견고한 경계를 제공함 — 예를 들어 PPO의 핀볼 박스 성능은 5184.6 ± 262.8(95% CI)였다.
• NAC-TD와 같은 알고리즘은 일관되게 성능이 열등하여 모든 환경에서 최악의 평균 성능 기록(예: 핀볼 싱글에서 -1229.4), 이는 평가 프레임워크가 이러한 결과를 드러내는 가치가 있음을 시사한다.
• 이 방법은 평균 성능이 높다고 해서 항상 더 강건한 것은 아님을 드러냄: 예를 들어 Q(λ)와 Q(λ)-s는 높은 분산(예: 그리드월드 10 스토케스틱에서 95% CI: (-379.2, -326.9))을 보이며 불안정성을 나타냄.
• 평가 프레임워크는 공정하고 악용되지 않는 비교를 가능하게 하며, 정규화나 환경 가중치에 의해 특정 알고리즘이 유리하지 않으며, 표준 연구자가 재현할 수 있는 계산 가능성 확보.