[논문 리뷰] Replacing Rewards with Examples: Example-Based Policy Search via Recursive Classification

Benjamin Eysenbach, Sergey Levine외 1명|arXiv (Cornell University)|2021. 03. 23.

Reinforcement Learning in Robotics참고 문헌 41인용 수 4

한 줄 요약

이 논문은 예시 기반 제어를 위한 재귀 분류(RCE)를 제안한다. 이는 수동으로 설계된 보상 함수를 성공 예시로부터 직접 학습하는 강화학습 방법이다. 보상 함수를 먼저 학습하는 대신, RCE는 향후 성공 확률을 예측하기 위해 재귀 분류를 사용하며, 새로운 데이터 기반 벨만 방정식을 만족한다. 이는 복잡한 조작 작업, 특히 이미지 기반 환경에서 이전의 모방 학습 및 보상 학습 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Reinforcement learning (RL) algorithms assume that users specify tasks by manually writing down a reward function. However, this process can be laborious and demands considerable technical expertise. Can we devise RL algorithms that instead enable users to specify tasks simply by providing examples of successful outcomes? In this paper, we derive a control algorithm that maximizes the future probability of these successful outcome examples. Prior work has approached similar problems with a two-stage process, first learning a reward function and then optimizing this reward function using another RL algorithm. In contrast, our method directly learns a value function from transitions and successful outcomes, without learning this intermediate reward function. Our method therefore requires fewer hyperparameters to tune and lines of code to debug. We show that our method satisfies a new data-driven Bellman equation, where examples take the place of the typical reward function term. Experiments show that our approach outperforms prior methods that learn explicit reward functions.

연구 동기 및 목표

• 강화학습에서 수동으로 보상 함수를 설계하는 데 드는 노동력과 전문 지식의 부담을 줄이기 위해.
• 사용자가 보상 함수의 수학적 정의 대신 성공 결과의 예시만 제공함으로써 작업을 지정할 수 있도록 하기 위해.
• 중간 단계의 보상 함수 학습을 피하는 직접적이고 종단 간(end-to-end) 정책 학습 방법을 개발하기 위해.
• 성공 예시가 보상 항목을 대체하는 새로운 벨만 방정식에 대한 이론적 기초를 확립하기 위해.
• 이미지 관측이 포함된 복잡한 조작 작업에서 뛰어난 성능을 실험적으로 입증하기 위해.

제안 방법

• RCE는 중간 보상 함수를 학습하지 않고도 전이 데이터와 성공 예시를 사용하여 향후 성공 확률을 예측하는 가치 함수를 직접 학습한다.
• 표준 보상 항목을 성공 예시 신호로 대체하는 새로운 데이터 기반 벨만 방정식을 만족하는 재귀 분류 프레임워크를 활용한다.
• 예측값을 [0, 0.5] 범위로 제약하여 확률 비율 형태를 반영하기 위해 분류기 $ C_{\theta} $ 를 사용하여 향후 성공 확률의 비율을 추정한다.
• 대상 네트워크를 사용한 시간 차분 학습과 함께, 즉각적 예측과 부트스트랩된 미래 예측을 결합한 손실 함수를 사용한다.
• 성공 예시의 생성 과정을 가정하고, 모호한 예시 수집 과정을 다룰 수 있도록 제곱 헬링거 거리 최소화를 통한 강건한 변형을 도입한다.
• 종단 간 훈련이 가능하며, 이미지 인코더의 미세조정이 필요 없으며, 이미지 기반 작업에서 더 뛰어난 성능을 내기 위해 무작위 가중치를 사용한다.

실험 결과

연구 질문

• RQ1 보상 함수를 사용자가 제공한 성공 예시로 대체함으로써 강화학습을 더 접근하기 쉽게 만들 수 있는가?
• RQ2 보상 함수 학습 단계를 건너뛰는 직접적 정책 학습 방법이 이중 단계 접근 방식보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 성공 예시가 보상 항목을 대체하는 벨만 방정식에 대한 이론적 기초는 무엇인가?
• RQ4 다양한 목표 위치와 물체 형태를 가진 새로운 환경으로 일반화되는가?
• RQ5 안정적인 학습을 위해 예시 수집 과정에 대해 어떤 가정이 필요하며, 이를 어떻게 강건하게 만들 수 있는가?

주요 결과

• RCE는 복잡한 조작 작업에서 최첨단 모방 학습 방법(AIRL, DAC, SQIL)과 보상 학습 기반 베이스라인(ORIL, PURL, VICE)을 모두 능가한다.
• Sawyer 푸시 환경에서 RCE는 평균 수익 0.2를 기록했으며, 이는 수정된 C-학습 변형(0.07)보다 유의미하게 뛰어나다.
• RCE는 해머를 들어 올리거나 못을 박는 것과 같은 작업을 성공적으로 학습했으며, 이는 모든 베이스라인에서 실패한 작업들이다.
• 이미지 관측이 있는 경우, 다양한 형태와 목표 위치를 가진 새로운 환경으로 일반화되어 강건한 성공 일반화를 보였다.
• 학습률, 할인 인자, 배치 크기, 가중치 초기화와 같은 하이퍼파rameter 선택에 대해 매우 강건하며, 최적화가 거의 필요 없다.
• 미세조정된 인코더보다 랜덤 이미지 인코더를 사용할 때 더 뛰어난 성능를 보였으며, 이는 향후 연구에서 표현 학습이 별도의 과제임을 시사한다.