[논문 리뷰] Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation

Zhizhou Ren, Anji Liu외 3명|arXiv (Cornell University)|2022. 11. 20.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 인간의 선호도 피드백을 수상한 보상 함수가 아닌 수치적 보상 대신 사용하여 빠르고 소수의 샘플로 정책 적응을 가능하게 하는 메타강화학습 알고리즘인 ANOLE을 제안한다. 선호도 기반 작업 추론을 노이즈가 있는 채널 통신 문제로 모델링하고 정보이론에서의 Berlekamp의 볼륨을 활용하여, 각 쿼리당 정보 수득을 최대화하고, 노이즈가 있는 인간 피드백에도 강인한 성능을 달성한다. 벤치마크 작업에서 기존 방법들보다 피드백 효율성과 오류 내성 면에서 뛰어난 성능을 보였다.

ABSTRACT

Learning new task-specific skills from a few trials is a fundamental challenge for artificial intelligence. Meta reinforcement learning (meta-RL) tackles this problem by learning transferable policies that support few-shot adaptation to unseen tasks. Despite recent advances in meta-RL, most existing methods require the access to the environmental reward function of new tasks to infer the task objective, which is not realistic in many practical applications. To bridge this gap, we study the problem of few-shot adaptation in the context of human-in-the-loop reinforcement learning. We develop a meta-RL algorithm that enables fast policy adaptation with preference-based feedback. The agent can adapt to new tasks by querying human's preference between behavior trajectories instead of using per-step numeric rewards. By extending techniques from information theory, our approach can design query sequences to maximize the information gain from human interactions while tolerating the inherent error of non-expert human oracle. In experiments, we extensively evaluate our method, Adaptation with Noisy OracLE (ANOLE), on a variety of meta-RL benchmark tasks and demonstrate substantial improvement over baseline algorithms in terms of both feedback efficiency and error tolerance.

연구 동기 및 목표

• 기존 메타-RL 방법들이 적응을 위해 환경 보상 함수에 접근이 필요하다는 한계를 해결하기 위해, 현실 세계의 인간-함께하는 설정에서는 이를 실현 가능하지 않다는 점을 고려한다.
• 정확한 보상 형태 조정에 의존하지 않고, 행동 트레이젝터리 간의 인간 선호도 피드백만을 사용하여 새로운 작업에서 빠른 정책 적응을 가능하게 한다.
• 각 인간 피드백에서 최대한의 정보 수득을 달성하면서도 비전문가의 피드백 오류에 강인한 쿼리 전략을 설계한다.
• 메타-RL과 인간-함께하는 학습을 연결하기 위해 선호도 기반 추론을 노이즈가 있는 채널 통신 문제로 공식화한다.

제안 방법

• 선호도 기반 작업 추론 문제를 Rényi-Ulam의 게임으로 모델링하여 인간 피드백을 통신 채널 내의 노이즈가 있는 이진 신호로 간주한다.
• 정보이론에서의 Berlekamp의 볼륨을 적용하여 노이즈가 있는 선호도 피드백의 불확실성을 정량화하고 쿼리 설계를 안내한다.
• 상호작용당 정보 수득을 최대화하는 적응형 쿼리 시퀀스를 설계하여 인간 쿼리의 수를 줄인다.
• 파rametric한 보상 함수 형태에 대한 가정 없이 비모수적 작업 임베딩 추론을 처리할 수 있도록 프레임워크를 확장한다.
• 메타-RL 기반 아키텍처에 ANOLE 알고리즘을 구현하여, 짝대기 선호도 비교만으로도 빠른 적응을 가능하게 한다.
• MuJoCo 환경에서 단계별 보상의 합으로부터 선호도 레이블을 유도하는 시뮬레이션 기반 피드백 메커니즘을 구현하여 인간 판단을 모방한다.

실험 결과

연구 질문

• RQ1 환경 보상 함수에 접근할 수 없더라도 메타-RL이 새로운 작업에 대해 빠른 적응을 이룰 수 있는가?
• RQ2 정보이론적 원칙을 활용하여 인간 선호도 피드백을 위한 효율적인 쿼리 시퀀스를 어떻게 설계할 수 있는가?
• RQ3 소수의 샘플로 적응하는 과정에서 메타-RL 에이전트는 얼마나 많은 노이즈 또는 일관성 없는 인간 피드백을 견딜 수 있는가?
• RQ4 수치적 보상 대신 선호도 기반 피드백이 복잡한 제어 과제에서 효과적이고 효율적인 정책 적응을 이끌 수 있는가?

주요 결과

• ANOLE는 피드백 효율성을 크게 향상시켜 메타-RL 벤치마크에서 강력한 성능을 달성하기 위해 단지 200개의 인간 쿼리만을 요구한다.
• 노이즈가 있는 피드백에 대해 강인한 성능을 보이며, 인간 피드백의 오류율이 최대 10%일 경우에도 높은 성능을 유지한다.
• 실제 인간 참가자들과의 실험에서 평균 피드백 오류율은 6.2%였고, ANOLE는 여전히 기준선 대비 적응 속도와 최종 정책 품질 면에서 뛰어난 성능을 보였다.
• Berlekamp의 볼륨을 사용한 불확실성 정량화가 상호작용당 정보 수득을 극대화하는 효과적인 쿼리 설계를 가능하게 한다.
• 다양한 메타-RL 벤치마크 과제에서 ANOLE는 피드백 효율성과 오류 내성 면에서 기존 알고리즘보다 뛰어난 성능을 달성한다.
• 이 방법은 비모수적 작업 추론을 가능하게 하여 보상 함수의 특정한 모수적 형태를 가정할 필요 없이 작동한다.