[논문 리뷰] APReL: A Library for Active Preference-based Reward Learning Algorithms

Erdem Bıyık, Aditi Talati외 1명|arXiv (Cornell University)|2021. 08. 16.

Logic, Reasoning, and Knowledge인용 수 5

한 줄 요약

APReL은 인간-로봇 상호작용을 위한 능동적 선호 기반 보상 학습 알고리즘을 구현하고 실험하며 확장할 수 있도록 해주는 모듈식 파이썬 라이브러리입니다. 이 라이브러리는 OpenAI Gym 호환 환경 내에서 다수의 쿼리 유형, 사용자 모델, 신뢰도 분포, 그리고 수집 함수(예: 배치 및 다양성 인식 쿼리 최적화 포함)를 지원하여 데이터 효율적인 보상 학습 시스템 개발의 장벽을 크게 낮춥니다.

ABSTRACT

Reward learning is a fundamental problem in human-robot interaction to have robots that operate in alignment with what their human user wants. Many preference-based learning algorithms and active querying techniques have been proposed as a solution to this problem. In this paper, we present APReL, a library for active preference-based reward learning algorithms, which enable researchers and practitioners to experiment with the existing techniques and easily develop their own algorithms for various modules of the problem. APReL is available at https://github.com/Stanford-ILIAD/APReL.

연구 동기 및 목표

• 인간 피드백 당 최대의 정보를 확보하는 능동적 쿼리 전략을 통해 보상 학습의 데이터 비효율성 문제를 해결하기 위해.
• 쌍대 비교, K개 중 최고 선택 쿼리, 배치 선택 등 다양한 능동적 선호 기반 학습 기법을 하나의 확장 가능한 소프트웨어 프레임워크로 통합하기 위해.
• 표준 강화 학습 환경 내에서 비교, 순위 매기기, 시연와 같은 다양한 인간 피드백 모odalities를 지원하기 위해.
• 연구자들이 보상 학습에서 새로운 수집 함수 및 쿼리 최적화 전략을 구현하고 벤치마킹하기 위한 장벽을 낮추기 위해.
• 모듈식이고 오픈소스인 라이브러리로 구성된 구성 요소(쿼리 유형, 신뢰도 모델, 최적화기 등)를 제공하여 재현 가능성과 커뮤니티 기반 개발을 촉진하기 위해.

제안 방법

• APReL은 환경, 트레이젝터리, 쿼리 유형, 사용자 모델, 신뢰도 분포, 쿼리 최적화기, 평가 모듈 등 별도의 구성 요소로 구성된 모듈식 아키텍처를 제공합니다.
• 쌍대 비교, 약한 비교, 완전 순위, 시연 등 다양한 쿼리 유형을 지원하며, 사용자 정의 쿼리 형식의 확장성도 제공합니다.
• 라이브러리는 인간 피드백을 이용해 갱신되는 파arametric 사용자 반응 모델(예: 소프트맥스)을 사용하여 보상 함수에 대한 신뢰도 분포를 유지하기 위해 베이지안 추론을 사용합니다.
• 수집 함수로는 부피 제거, 상호정보량, 회귀 기반, 톰슨 샘플링 등이 있으며, 단일 쿼리와 배치 쿼리 모두 지원합니다.
• 배치 쿼리 생성은 히우리스틱 다양성 방법과 결정성 점프 프로세스(Determinantal Point Processes, DPPs)를 활용하여 정보성과 다양성을 균형 있게 유지합니다.
• OpenAI Gym 환경과 호환되어 표준 강화 학습 시뮬레이션 환경과 즉시 통합 가능합니다.

실험 결과

연구 질문

• RQ1 사용자에게 제시할 비교 항목을 전략적으로 선택함으로써 능동적 선호 기반 보상 학습의 데이터 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 정확한 보상 복원을 위해 필요한 쿼리 수를 줄이는 데 있어 상호정보량 vs. 부피 제거 등 다양한 수집 함수의 상대적 성능 향상은 어떠한가?
• RQ3 배치 쿼리 선택은 능동적 보상 학습에서 데이터 효율성을 훼손하지 않으면서 시간 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 사전에 전문가 시연를 통합함으로써 선호 기반 보상 학습의 샘플 효율성은 어느 정도 향상될 수 있는가?
• RQ5 모듈식이고 확장 가능한 소프트웨어 라이브러리는 인간-로봇 상호작용에서 새로운 능동 학습 알고리즘의 개발과 벤치마킹을 어떻게 촉진할 수 있는가?

주요 결과

• APReL은 상호정보량 및 톰슨 샘플링과 같은 최신 수집 함수를 포함한 다양한 능동적 선호 기반 보상 학습 기법을 실험하고 비교할 수 있도록 합니다.
• 히우리스틱 다양성 방법과 DPP 기반 접근 방식을 모두 활용한 배치 쿼리 생성을 지원하여 정보성은 유지하면서도 시간 효율성을 향상시킵니다.
• 전문가 시연를 사전에 통합함으로써 APReL은 데이터 효율성을 향상시키며, 이는 라이브러리가 지원하는 이전 연구에서 입증된 바 있습니다.
• 모듈식 설계 덕분에 새로운 쿼리 유형, 신뢰도 모델, 수집 함수를 쉽게 통합할 수 있어 빠른 프로토타이핑과 벤치마킹이 가능합니다.
• OpenAI Gym 환경과의 호환성 덕분에 다양한 시뮬레이션된 로봇 작업에서의 간편한 배포 및 테스트가 가능합니다.
• 라이브러리는 오픈소스이며 커뮤니티가 확장 가능하며, 향후 버전에서 비베이지안 접근법과 고급 배치 최적화 기법과 같은 새로운 기법들을 통합할 계획이 있습니다.