[논문 리뷰] Human-guided Robot Behavior Learning: A GAN-assisted Preference-based Reinforcement Learning Approach

Huixin Zhan, Tao Feng외 1명|arXiv (Cornell University)|2020. 10. 15.

Reinforcement Learning in Robotics참고 문헌 30인용 수 4

한 줄 요약

이 논문은 인간 피드백을 극도로 줄이는 GAN 기반 선호 기반 강화 학습 프레임워크를 제안한다. 저차원의 적대적 네트워크를 통해 인간의 선호를 모방함으로써, 이전 방법에 비해 인간 쿼리의 0.2%만으로도 성능을 유지하면서 효율적인 정책 학습을 가능하게 한다. 이 방법은 MuJoCo 이동 작업에서 인간 레이블링 시간을 최대 99.8% 감소시킨다.

ABSTRACT

Human demonstrations can provide trustful samples to train reinforcement learning algorithms for robots to learn complex behaviors in real-world environments. However, obtaining sufficient demonstrations may be impractical because many behaviors are difficult for humans to demonstrate. A more practical approach is to replace human demonstrations by human queries, i.e., preference-based reinforcement learning. One key limitation of the existing algorithms is the need for a significant amount of human queries because a large number of labeled data is needed to train neural networks for the approximation of a continuous, high-dimensional reward function. To reduce and minimize the need for human queries, we propose a new GAN-assisted human preference-based reinforcement learning approach that uses a generative adversarial network (GAN) to actively learn human preferences and then replace the role of human in assigning preferences. The adversarial neural network is simple and only has a binary output, hence requiring much less human queries to train. Moreover, a maximum entropy based reinforcement learning algorithm is designed to shape the loss towards the desired regions or away from the undesired regions. To show the effectiveness of the proposed approach, we present some studies on complex robotic tasks without access to the environment reward in a typical MuJoCo robot locomotion environment. The obtained results show our method can achieve a reduction of about 99.8% human time without performance sacrifice.

연구 동기 및 목표

• 로봇 제어를 위한 선호 기반 강화 학습에서 높은 인간 피드백 비용을 해결하기 위해.
• 인간의 지시나 반복적인 쿼리를 광범위하게 요구하지 않고도 인간의 선호를 더 효율적으로 학습하기 위해.
• 최소한의 인간 입력으로 정확한 인간 선호 결정을 모델링할 수 있는 저차원 생성 적대적 네트워크(GAN)를 설계하기 위해.
• 인간 선호 레이블링을 보상 함수 학습에서 분리하여, 동일한 쿼리를 여러 목적으로 재사용할 수 있도록 하기 위해.
• 정답 보상 함수에 접근할 수 없더라도 고성능의 로봇 정책 학습을 달성하기 위해.

제안 방법

• 트레이젝터리 쌍 간의 인간 제공 선호 비교를 소량의 데이터로 사용해 이진 출력 GAN을 훈련한다.
• 훈련된 GAN이 이후 선호 레이블링에서 인간 피드백을 대체하여 인간의 참여를 크게 줄인다.
• 최대 엔트로피 기반 강화 학습 알고리즘이 GAN이 식별한 선호되는 행동 방향으로 정책을 형상화한다.
• 인간 쿼리는 GAN을 초도로 훈련하고 희박한 간격으로 보정하기 위해만 사용되며, 상호작용을 최소화한다.
• GAN의 성능은 GAN-테스트 지표를 사용해 평가되며, 이는 새로운 합성 트레이젝터리 쌍에 대한 일반화 능력을 측정한다.
• 선호 모델링(GAN을 통한)과 정책 학습을 분리함으로써, 효율적이고 확장 가능한 피드백 활용이 가능해진다.

실험 결과

연구 질문

• RQ1 저차원 GAN이 인간의 선호를 최소한의 인간 쿼리로 로봇 행동 학습에서 효과적으로 모델링할 수 있는가?
• RQ2 성능 저하 없이 GAN이 선호 기반 강화 학습에서 인간 피드백을 얼마나 대체할 수 있는가?
• RQ3 기본선대비 인간 피드백 효율성 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ4 GAN이 새로운 트레이젝터리 쌍에 잘 일반화되는가? 이는 견고한 선호 일반화를 나타내는가?
• RQ5 정책 학습에서 고성능을 유지하기 위해 필요한 최소 인간 쿼리 빈도는 얼마인가?

주요 결과

• 제안된 방법은 기존 기준 대비 약 99.8%의 인간 피드백 감소를 달성했으며, 성능은 거의 동일하게 유지된다.
• 기존 방법에 비해 필요한 인간 쿼리의 0.2%만으로도 충분하며, [9]의 기준 대비 84% 감소했다.
• GAN-테스트 지표는 높고 안정된 성능(일부 경우 0.95 이상)을 보이며, 학습된 선호의 일반화 능력을 잘 나타낸다.
• 훈련 에피소드의 1~2%에서만 GAN을 보정함으로써 높은 정확도를 유지할 수 있었으며, 이는 최소한의 인간 입력으로도 충분함을 시사한다.
• GAN 기반 접근은 실제 보상 함수가 있는 표준 강화 학습과 유사한 성능을 달성했으며, 선호 기반 모방 학습의 효과성을 입증한다.
• 진정한 보상 함수에 접근할 수 없더라도 인간 선호와 GAN 생성 레이블에만 의존하여 효과적인 정책 학습이 가능함을 보여준다.