[논문 리뷰] PixL2R: Guiding Reinforcement Learning Using Natural Language by Mapping Pixels to Rewards

Prasoon Goyal, Scott Niekum외 1명|arXiv (Cornell University)|2020. 07. 30.

Reinforcement Learning in Robotics참고 문헌 33인용 수 12

한 줄 요약

이 논문은 (경로, 언어) 데이터 쌍을 학습한 지도 학습 모델을 사용하여 원시 픽셀 관측치를 언어 조건부 보상으로 매핑하는 PixL2R를 제안한다. 자유형 자연어 기술을 통해 중간 보상을 생성함으로써, 메타월드 로봇 조작 벤치마크에서 희박 보상 및 조밀 보상 설정 모두에서 샘플 효율성이 크게 향상된다.

ABSTRACT

Reinforcement learning (RL), particularly in sparse reward settings, often requires prohibitively large numbers of interactions with the environment, thereby limiting its applicability to complex problems. To address this, several prior approaches have used natural language to guide the agent's exploration. However, these approaches typically operate on structured representations of the environment, and/or assume some structure in the natural language commands. In this work, we propose a model that directly maps pixels to rewards, given a free-form natural language description of the task, which can then be used for policy learning. Our experiments on the Meta-World robot manipulation domain show that language-based rewards significantly improves the sample efficiency of policy learning, both in sparse and dense reward settings.

연구 동기 및 목표

• 목표에 도달하기 전까지 학습 신호를 받지 못하는 희박 보상 환경에서 강화학습의 샘플 비효율성 문제를 해결한다.
• 구조화된 환경 표현이나 사전 정의된 언어적 구조를 필요로 하는 기존 언어 유도 강화학습 방법의 한계를 극복한다.
• 수동으로 설계된 보상 함수나 환경 역학에 의존하지 않고 자유형 자연어 기술을 사용해 효율적인 정책 학습을 가능하게 한다.
• 시각적 관측치(픽셀)를 직접 자연어 작업 기술 조건부 보상으로 매핑하는 일반화 가능한 프레임워크를 개발한다.
• 수동으로 설계된 조밀 보상의 대체 또는 보완으로 언어 기반 보상을 사용하여 정책 학습의 효율성을 향상시킨다.

제안 방법

• 경로와 언어의 쌍 데이터를 사용해 시아미즈 유사 아키텍처를 갖춘 별도의 인코더를 가진 지도 학습 모델인 PixL2R를 학습한다.
• 시퀀스 RGB 프레임에서의 시공간 동역학을 포착하기 위해 경로를 CNN-LSTM 아키텍처로 인코딩한다.
• 텍스트의 순차적 의존성을 모델링하기 위해 언어 기술을 LSTM으로 인코딩한다.
• 다층 퍼셉트론을 통해 경로 및 언어 임베딩 간의 유사도 점수를 계산하고, 이를 언어 조건부 보상으로 사용한다.
• 학습된 PixL2R 모델을 사용해 표준 강화학습 환경에서 정책 학습 중에 언어 기술을 입력으로 하여 중간 보상을 생성한다.
• 정책 학습 중에 수집된 경로 데이터를 사용해 PixL2R 모델을 미세조정하여 실제 작업 진행 상황과의 일치도를 향상시킨다.

실험 결과

연구 질문

• RQ1 자연어 기술을 자유형으로 사용해 연속 제어 과제에서 원시 픽셀 관측치로부터 중간 보상을 효과적으로 생성할 수 있는가?
• RQ2 손으로 설계한 조밀 보상과 비교할 때 언어 조건부 보상 설계의 샘플 효율성은 정책 학습에서 어떻게 나타나는가?
• RQ3 사전 훈련 기간 동안 볼 수 없었던 새로운 물체-행동 조합을 포함한 새로운 과제에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ4 경로 인코딩, 언어 인코딩, 입력 모odal리티(예: 단일 시야 대 다중 시야)의 변형에 대해 이 접근법은 얼마나 견고한가?
• RQ5 내재된 보상 신호가 과제 완료 시점까지 제공되지 않는 희박 보상 환경에서 언어 기반 보상은 학습을 향상시킬 수 있는가?

주요 결과

• PixL2R는 메타월드 벤치마크에서 희박 보상 및 조밀 보상 설정 모두에서 샘플 효율성을 크게 향상시키며, 성공한 에피소드 수 측면에서 수동으로 설계된 조밀 보다도 뛰어난 성능을 보였다.
• 경로의 마지막 프레임만 사용하는 것(LastFrame)이나 언어 임베딩을 평균 풀링하는 것(MeanpoolLang)조차도 조밀 보상보다 통계적으로 유의미한 향상을 이뤘으며, 단순화에 대해 강건함을 보였다.
• LSTM 기반 경로 인코더를 평균 풀링으로 대체하면 성능이 극적으로 떨어지며, 경로 이해에서 시간 순서의 중요성을 확인한다.
• 단일 카메라 시야를 사용하는 것(SingleView)은 조밀 보상보다 작은, 유의미하지 않은 향상만을 보였으며, 다중 시야가 시각적 애매함과 가림을 완화하는 데 도움이 된다는 것을 보여준다.
• 회귀 손실을 분류 손실로 대체하는 것(Dense+CLS)은 통계적으로 유의미한 향상이 없었으며, 부분적 진전을 더 잘 포착하는 데는 회귀 목적이 더 적합함을 시사한다.
• 제거 실험 결과, 모델이 경로와 언어 양쪽에서 의미 있는 정보를 추출하며, 성능은 도메인과 입력 모달리티에 매우 의존함을 확인했다.