[논문 리뷰] The Impact of Task Underspecification in Evaluating Deep Reinforcement Learning

Vindula Jayawardana, Catherine So–kum Tang외 3명|arXiv (Cornell University)|2022. 10. 16.

Traffic control and management인용 수 4

한 줄 요약

이 논문은 딥 강화 학습(DRL) 평가에서 '작업 미정의 문제'를 규명한다. 이는 몇몇 점 MDPs에 의존함으로써 파arameterized MDP 가족 대신 평가할 경우 성능 순위가 잘못된 방향으로 이뤄질 수 있음을 의미한다. 카트폴, 펜듈럼, 교통 신호 제어와 같은 사례에서 MDP 가족 전반에 걸쳐 DRL 방법을 평가함으로써, 방법의 순위가 MDP 분포에 따라 크게 변화함을 보여주며, 이는 경험적 엄밀성에 위협을 주고 최신 기법에 대한 주장의 타당성을 도전한다.

ABSTRACT

Evaluations of Deep Reinforcement Learning (DRL) methods are an integral part of scientific progress of the field. Beyond designing DRL methods for general intelligence, designing task-specific methods is becoming increasingly prominent for real-world applications. In these settings, the standard evaluation practice involves using a few instances of Markov Decision Processes (MDPs) to represent the task. However, many tasks induce a large family of MDPs owing to variations in the underlying environment, particularly in real-world contexts. For example, in traffic signal control, variations may stem from intersection geometries and traffic flow levels. The select MDP instances may thus inadvertently cause overfitting, lacking the statistical power to draw conclusions about the method's true performance across the family. In this article, we augment DRL evaluations to consider parameterized families of MDPs. We show that in comparison to evaluating DRL methods on select MDP instances, evaluating the MDP family often yields a substantially different relative ranking of methods, casting doubt on what methods should be considered state-of-the-art. We validate this phenomenon in standard control benchmarks and the real-world application of traffic signal control. At the same time, we show that accurately evaluating on an MDP family is nontrivial. Overall, this work identifies new challenges for empirical rigor in reinforcement learning, especially as the outcomes of DRL trickle into downstream decision-making.

연구 동기 및 목표

• DRL 평가에서 몇몇 점 MDPs를 임의로 선택하는 것이 방법 성능에 대한 편향된 결론을 이끌 수 있는 방식을 조사하기.
• 고립된 사례가 아닌 MDP 가족 전체에 대해 DRL 방법을 평가할 경우 방법 간 상대 순위가 근본적으로 달라질 수 있음을 보여주기.
• 특정 MDP 인스턴스에 최적화된 방법이 보다 광범위한 작업 가족에 비해 평가 과적합의 위험을 어떻게 증가시키는지 강조하기.
• 특히 고위험 의사결정을 요구하는 실세계 응용 분야에 강화 학습이 도입됨에 따라 DRL 평가의 개선된 경험적 엄밀성의 필요성을 촉구하기.
• 현재 벤치마크 관행이 임의의 작업 내에서 알고리즘 일반화 능력을 진정으로 반영하지 못할 수 있음을 입증하고, MDP 가족 기반 평가의 도입을 촉구하기.

제안 방법

• 환경 파라미터(예: 교차로 기하학, 교통 흐름, 차선 수 등)가 작업의 변형을 정의하는 parameterized MDP 가족으로 작업을 모델링함으로써 표준 DRL 평가를 보완한다.
• CARL 벤치마크 세트에서 MDP 가족의 샘플링을 통해 다양한 MDP 인스턴스를 생성한다. 예를 들어, 카트폴에 대해선 576개, 펜듈럼에 대해선 180개의 MDP를 생성한다.
• 각 가족 내에서 다양한 랜덤 분포의 점 MDPs에 대해 여러 DRL 알고리즘(PPO, TRPO, SAC, TD3)의 순위 안정성을 평가하기 위해 평가를 수행한다.
• 다양한 MDP 구성에 따른 순위 이동을 정량화하고, 분포 간 성능 비교를 위해 정규화된 성능 점수를 사용한다.
• 실세계 교통 신호 제어 및 표준 제어 벤치마크에서의 분석을 통해 MDP 가족 평가의 영향을 검증한다.
• 각 작업에서 하나의 MDP를 조합하여 전체 조합에 대해 순위 빈도를 계산함으로써, 점 MDP 선택이 다중 작업 일반화 평가에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 한 작업 내에서 점 MDPs의 선택이 DRL 알고리즘 간 상대 성능 순위에 어떤 영향을 미치는가?
• RQ2 점 MDP 평가 대비 MDP 가족 전체에 대해 DRL 방법을 평가할 경우, 어떤 방법이 최신 기법으로 간주되는지에 대한 결론이 얼마나 달라지는가?
• RQ3 표준 벤치마크(예: 펜듈럼, 히프체티, 마운틴카)에서 MDP 인스턴스의 선택이 DRL 방법의 인식된 강건성과 일반화 능력에 상당한 영향을 미치는가?
• RQ4 MDP 가족의 사용이 교통 신호 제어와 같은 실세계 응용 분야에서 DRL 평가의 신뢰성과 통계적 검증력을 향상시킬 수 있는가?
• RQ5 환경 파라미터의 변화(예: 교통 유입, 교차로 기하학, 제어 파라미터 등)에 따라 DRL 방법 순위는 얼마나 민감하게 변하는가?

주요 결과

• 카트폴 작업에서 PPO는 분포 $D_1$에서는 1위로 평가되었지만, $D_5$에서는 마지막 순위로 떨어졌고, TRPO는 후자의 경우 PPO를 앞서는 성과를 보였다. 이는 MDP 분포에 따라 순위가 완전히 뒤바뀌는 것을 보여준다.
• 펜듈럼 작업에서도 다양한 MDP 분포 간에 유사한 순위 이동이 관찰되어, 방법 성능가 환경 파rameterization에 매우 민감함을 시사한다.
• 펜듈럼, 히프체티, 마운틴카 작업 간 평가에서 SAC는 MDP 조합 시험의 42.56%에서 1위를 차지했고, PPO는 18.75%에서만 1위를 기록했다. 이는 기존의 표준 벤치마크가 방법의 우월성을 잘못 반영할 수 있음을 보여준다.
• MDP 조합 평가에서 TD3는 47.85%의 시험에서 마지막 순위를 기록했으며, 이는 다양한 환경 구성에서 성능이 매우 불안정함을 시사한다.
• 연구 결과, 표준 벤치마크에서 사용되는 점 MDPs의 선택이 방법 순위에 상당한 영향을 미치며, 현재 평가 관행이 진정된 일반화 능력을 반영하지 못할 수 있음을 시사한다.
• 결과적으로, 단일 또는 소수의 MDP 인스턴스만을 평가에 사용할 경우 통계적 검증력이 부족하고 특정 구성에 과적합될 위험이 있어 DRL 연구의 경험적 엄밀성이 훼손된다는 점을 암시한다.