[논문 리뷰] Understanding the Effects of Dataset Characteristics on Offline Reinforcement Learning

Kajetan Schweighofer, Markus Hofmarcher외 5명|arXiv (Cornell University)|2021. 11. 08.

Reinforcement Learning in Robotics참고 문헌 14인용 수 4

한 줄 요약

이 논문은 이산 행동 환경에서 오프라인 강화학습 성능에 영향을 주는 데이터셋 특성—특히 궤도 품질(Trajectory Quality, TQ)과 상태-행동 커버리지(State-Action Coverage, SACo)—가 어떻게 작용하는지 조사한다. 연구 결과, 오프정책 Deep Q-Network 변종은 높은 SACo를 요구하는 반면, 행동 복제(Behavior Cloning)는 높은 TQ 데이터셋에서는 최고의 오프라인 RL 알고리즘과 동등하거나 그 이상의 성능을 기록한다.

ABSTRACT

In real world, affecting the environment by a weak policy can be expensive or very risky, therefore hampers real world applications of reinforcement learning. Offline Reinforcement Learning (RL) can learn policies from a given dataset without interacting with the environment. However, the dataset is the only source of information for an Offline RL algorithm and determines the performance of the learned policy. We still lack studies on how dataset characteristics influence different Offline RL algorithms. Therefore, we conducted a comprehensive empirical analysis of how dataset characteristics effect the performance of Offline RL algorithms for discrete action environments. A dataset is characterized by two metrics: (1) the average dataset return measured by the Trajectory Quality (TQ) and (2) the coverage measured by the State-Action Coverage (SACo). We found that variants of the off-policy Deep Q-Network family require datasets with high SACo to perform well. Algorithms that constrain the learned policy towards the given dataset perform well for datasets with high TQ or SACo. For datasets with high TQ, Behavior Cloning outperforms or performs similarly to the best Offline RL algorithms.

연구 동기 및 목표

• 데이터셋 특성이 오프라인 강화학습 성능에 미치는 영향를 이해하기 위해.
• 특정 데이터셋 성질에 가장 민감한 알고리즘 패밀리가 무엇인지 특정하기 위해.
• 다양한 데이터셋 조건 하에서 행동 복제와 오프라인 RL 알고리즘 간의 상대적 성능을 평가하기 위해.
• 오프라인 RL에서 데이터셋 정제 및 알고리즘 선택을 위한 경험적 지침을 제공하기 위해.

제안 방법

• 연구는 궤도 품질(Trajectory Quality, TQ)과 상태-행동 커버리지(State-Action Coverage, SACo)에 대해 제어된 변동을 가진 데이터셋을 사용하여 오프라인 RL 알고리즘을 평가한다.
• TQ는 데이터셋 내 궤도의 평균 수익을 측정하며, SACo는 커버된 상태-행동 쌍의 다양성을 정량화한다.
• 분석은 이산 행동 환경에 집중하며, 오프정책 Deep Q-Network 변종과 행동 복제를 비교한다.
• 성능는 각 데이터셋에서 학습된 최종 정책의 수익으로 측정된다.
• 정책을 데이터셋 분포에 가까이 유지하도록 제약하는 알고리즘은 다양한 데이터셋 유형에서의 강건성을 평가한다.
• 일관된 일반화를 확보하기 위해 여러 환경에서 경험적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 궤도 품질(Trajectory Quality, TQ)은 오프라인 RL 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ2 상태-행동 커버리지(State-Action Coverage, SACo)는 오프정책 Deep Q-Network 변종의 성능에 어떤 영향을 미치는가?
• RQ3 어떤 데이터셋 조건에서 행동 복제가 최첨단 오프라인 RL 알고리즘을 초월하거나 그에 맞추어 성능을 내는가?
• RQ4 어느 알고리즘 패밀리가 낮은 TQ 또는 낮은 SACo에 가장 민감한가?
• RQ5 성공적인 오프라인 정책 학습을 예측하는 데 가장 예측 가능한 데이터셋 특성은 무엇인가?

주요 결과

• 오프정책 Deep Q-Network 변종은 높은 상태-행동 커버리지(SACo)를 확보해야 강력한 성능을 낼 수 있다.
• 정책을 데이터셋 분포에 가깝게 유지하도록 제약하는 알고리즘은 TQ 또는 SACo가 높을 경우 잘 작동한다.
• 고품질 궤도(Trajectory Quality, TQ)를 가진 데이터셋에서는 행동 복제가 최고의 오프라인 RL 알고리즘을 초월하거나 그에 맞춘다.
• 높은 TQ만으로도 행동 복제가 최상의 성능을 내는 데 충분하며, 이는 SACo가 낮을 때도 마찬가지다.
• 오프라인 RL 알고리즘의 성능는 특히 TQ와 SACo에 따라 매우 의존적이며, 데이터셋의 특정 특성에 따라 달라진다.
• 모든 데이터셋 유형에서 일관되게 다른 알고리즘보다 뛰어난 성능을 내는 단일 알고리즘이 존재하지 않으며, 이는 데이터셋 인식 기반 알고리즘 선택의 필요성을 강조한다.