[논문 리뷰] How to Leverage Unlabeled Data in Offline Reinforcement Learning

Tianhe Yu, Aviral Kumar외 4명|arXiv (Cornell University)|2022. 02. 03.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 오프라인 강화학습에서 레이블이 없는 전이(transitions)에 대해 보상 모델을 학습하지 않고도 샘플 효율성과 성능을 크게 향상시키는 간단하면서도 효과적인 방법인 레이블 없음 데이터 공유(UDS)를 제안한다. 놀랍게도 이 방법은 보상 모델을 학습하지 않는 복잡한 보상 학습 기반 방법보다 로봇의 이동, 탐색, 조작 작업에서 뛰어난 성능을 보이며, 분포 이탈과 보상 편향을 완화하기 위해 재가중 기법을 결합할 경우 더욱 뛰어난 성능을 발휘한다.

ABSTRACT

Offline reinforcement learning (RL) can learn control policies from static datasets but, like standard RL methods, it requires reward annotations for every transition. In many cases, labeling large datasets with rewards may be costly, especially if those rewards must be provided by human labelers, while collecting diverse unlabeled data might be comparatively inexpensive. How can we best leverage such unlabeled data in offline RL? One natural solution is to learn a reward function from the labeled data and use it to label the unlabeled data. In this paper, we find that, perhaps surprisingly, a much simpler method that simply applies zero rewards to unlabeled data leads to effective data sharing both in theory and in practice, without learning any reward model at all. While this approach might seem strange (and incorrect) at first, we provide extensive theoretical and empirical analysis that illustrates how it trades off reward bias, sample complexity and distributional shift, often leading to good results. We characterize conditions under which this simple strategy is effective, and further show that extending it with a simple reweighting approach can further alleviate the bias introduced by using incorrect reward labels. Our empirical evaluation confirms these findings in simulated robotic locomotion, navigation, and manipulation settings.

연구 동기 및 목표

• 레이블이 있는 작업별 보상이 희귀하고 비용이 많이 들기 때문에, 저비용의 레이블이 없는 오프라인 데이터를 효과적으로 활용하는 데 도전하는 것.
• 특히 레이블이 없는 데이터에 대해 보상 재할당 전략을 간단히 적용하는 것—즉, 보상을 0으로 설정하는 것—이 보상 모델을 학습하지 않아도 효과적일 수 있는지 조사하는 것.
• 0 보상 재할당 전략이 성공하거나 실패하는 조건를 분석하고, 분포 재가중 기법을 통해 발생하는 보상 편향을 완화하는 것.
• 학습된 보상 모델이나 복잡한 데이터 공유 전략을 사용하는 최신 기법들과 비교하여, 다양한 오프라인 RL 환경에서 UDS의 성능을 평가하는 것.

제안 방법

• 모든 레이블이 없는 전이에 대해 일정한 0 보상을 할당하여, 오프라인 데이터셋 내에서 비보상 경험으로 간주한다.
• 레이블이 없는 전이의 분포적 영향을 조정하기 위해 보수적인 데이터 공유(CDS) 재가중 기법을 사용하여 분포 이탈을 줄인다.
• 레이블이 있는 데이터의 분포에서 멀리 떨어진 레이블이 없는 전이에 대해 재가중 기법을 적용하여, 정책의 일반화 능력을 향상시킨다.
• 레이블이 있는 전이에 진짜 보상과 함께 레이블이 없는 전이에 0 보상을 할당한 병합된 데이터셋에 표준 오프라인 RL 알고리즘(SAC, TD3 등)을 적용한다.
• 기존 오프라인 RL 프레임워크를 활용하여 기초 알고리즘을 수정하지 않고도 즉시 통합할 수 있도록 플러그 앤 플레이 방식을 구현한다.
• AntMaze, Meta-World, 시각 기반 로봇 조작 작업 등 다양한 환경에서 방법의 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 오프라인 RL에서 레이블이 없는 데이터에 대해 보상을 0으로 할당하는 것이 보상 모델을 학습하는 것보다 성능이 뛰어나게 되는가?
• RQ2 0 보상 재할당 전략이 실패하는 조건는 무엇이며, 성공 또는 실패에 기여하는 요인들은 무엇인가?
• RQ3 레이블이 없는 전이를 재가중하는 것이 잘못된 0 보상으로 인해 발생하는 편향을 완화하고 일반화 능력을 향상시킬 수 있는가?
• RQ4 다중 작업 및 단일 작업 오프라인 RL 환경에서 UDS는 최신의 데이터 공유 및 보상 학습 기법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 레이블이 없는 데이터에 대해 보상을 0으로 할당하는 UDS는 시뮬레이션된 로봇 이동 및 조작 작업에서 복잡한 보상 학습 기반 방법과 비교해 뛰어난 성능 또는 경쟁력을 발휘한다.
• 이 방법은 고비용의 인간 레이블링 보상이 필요한 양을 크게 줄이며, 오프라인 RL에서 샘플 효율성을 유지하거나 향상시킨다.
• 보수적인 데이터 공유(CDS) 기반 재가중 기법을 통해 레이블이 없는 전이를 재가중하면 분포 이탈과 보상 편향을 줄여 성능을 크게 향상시킨다.
• 실증 결과에 따르면, UDS는 AntMaze 탐색 및 Meta-World 다중 작업 환경에서 기존 방법들을 능가하며, 최소한의 감독으로도 뛰어난 성능을 발휘한다.
• 이 방법은 시각 기반 로봇 조작 및 연속 제어 작업을 포함한 다양한 도메인에서 뛰어난 강건성을 보이며, 광범위한 적용 가능성을 입증한다.
• 이론적 분석을 통해 UDS는 특정 조건 하에서 보상 편향, 샘플 복잡도, 분포 이탈을 유리하게 트레이드오프하는 것으로 확인되었다.