[논문 리뷰] SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning

Jongjin Park, Younggyo Seo외 4명|arXiv (Cornell University)|2022. 03. 18.

Reinforcement Learning in Robotics인용 수 14

한 줄 요약

SURF는 레이블이 없는 시연 데이터와 새로운 시간적 자르기 데이터 증강 기법을 활용하여 선형 보상 학습 프레임워크를 제안함으로써, 선호 기반 강화학습에서 피드백 효율성을 향상시킨다. 이는 단 몇백 개의 선호 쿼리만으로도 복잡한 로봇 조작 작업에서 거의 최적의 성능을 달성하며, 낮은 피드백 설정에서 기존 기준 방법들을 크게 능가한다.

ABSTRACT

Preference-based reinforcement learning (RL) has shown potential for teaching agents to perform the target tasks without a costly, pre-defined reward function by learning the reward with a supervisor's preference between the two agent behaviors. However, preference-based learning often requires a large amount of human feedback, making it difficult to apply this approach to various applications. This data-efficiency problem, on the other hand, has been typically addressed by using unlabeled samples or data augmentation techniques in the context of supervised learning. Motivated by the recent success of these approaches, we present SURF, a semi-supervised reward learning framework that utilizes a large amount of unlabeled samples with data augmentation. In order to leverage unlabeled samples for reward learning, we infer pseudo-labels of the unlabeled samples based on the confidence of the preference predictor. To further improve the label-efficiency of reward learning, we introduce a new data augmentation that temporally crops consecutive subsequences from the original behaviors. Our experiments demonstrate that our approach significantly improves the feedback-efficiency of the state-of-the-art preference-based method on a variety of locomotion and robotic manipulation tasks.

연구 동기 및 목표

• 선호 기반 강화학습에서 높은 인간 피드백 비용이 복잡한 작업에 대한 적용 가능성을 제한하는 문제를 해결한다.
• 재생 버퍼에 저장된 무한한 수의 레이블이 없는 시연 데이터를 활용하여 샘플 효율성을 향상시킨다.
• 에이전트 트레이젝터리에서 연속적인 부분 시퀀스를 자르는 새로운 데이터 증강 방법을 통해 일관성을 강제함으로써 보상 일반화를 향상시킨다.
• 픽셀 관측치와 같은 고차원적이고 부분 관측 가능한 입력에서 효과적인 학습을 가능하게 한다.

제안 방법

• 훈련된 선호 예측기의 신뢰도를 바탕으로 가짜 선호 레이블을 생성하여 레이블이 없는 시연 데이터에 적용한다.
• 시간적 자르기 증강 기법을 도입하여 전체 트레이젝터리에서 약간 이동하거나 크기가 조정된 부분 시퀀스를 생성하며, 이들이 동일한 선호를 유지한다고 가정한다.
• 라벨이 부여된 선호 데이터와 가짜 레이블이 부여된 레이블이 없는 데이터를 조합하여 가중치가 부여된 손실 목표 함수를 사용해 보상 모델을 훈련시킨다.
• 원본 및 증강된 시각 간의 일관성을 강제하기 위해 증강된 시각 간의 보상 예측 차이를 최소화한다.
• 기존의 PEBBLE와 같은 방법들과 통합하여 선호 기반 RL 파ip라인에 종단 간(end-to-end)으로 적용한다.
• 비율, 가짜 레이블링에 대한 신뢰도 임계값, 지도 학습과 자기지도 학습 목표 간의 손실 가중치를 포함한 하이퍼파rameter를 튜닝한다.

실험 결과

연구 질문

• RQ1 재생 버퍼에 저장된 레이블이 없는 시연 데이터가 선호 기반 RL에서 피드백 효율성을 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ2 새로운 시간적 자르기 데이터 증강 전략이 보상 일반화를 향상시키고 필요한 인간 선호 쿼리 수를 줄이는 데 기여하는가?
• RQ3 준지도 학습과 데이터 증강의 조합이 고차원적이고 부분 관측 가능한 제어 작업에서 성능에 어떤 영향을 미치는가?
• RQ4 SURF는 복잡한 로봇 조작 및 이동 작업에서 높은 성능를 달성하기 위해 필요한 피드백 예산을 어느 정도 줄일 수 있는가?

주요 결과

• SURF는 Meta-World에서 복잡한 로봇 조작 작업에서 단 200개의 선호 쿼리만으로도 약 100%의 성공률를 달성하는 반면, 기준 방법은 동일 조건에서 약 50%의 성공률에 그친다.
• 픽셀 기반 관측치를 사용하는 이동 작업에서 SURF는 지상 진짜 보상이 있는 강력한 기준 방법(DrQ-v2)과 동일한 성능을 달성하며 단 200개의 선호 쿼리만을 사용한다.
• 비율과 신뢰도 임계값의 변화에 대해 강건한 편이지만, 매우 높은 배치 크기나 낮은 임계값에서는 성능이 약간 저하된다.
• 손실 가중치 λ의 하이퍼파rameter 튜닝이 가장 뚜렷한 성능 향상을 가져오며, 이는 지도 학습과 자기지도 학습 간 균형을 맞추는 데 핵심적인 역할을 함을 시사한다.
• SURF는 DeepMind Control Suite와 Meta-World의 다양한 작업에서 피드백 효율성을 향상시키며, 특정 환경을 초월한 일반화 능력을 입증한다.
• 이 프레임워크는 이미지 기반 입력과 호환되며, 기존의 이미지 증강 기법과 조합 가능하므로 향후 성능 향상 잠재력이 있다.