[논문 리뷰] Weakly-Supervised Reinforcement Learning for Controllable Behavior

Lisa Lee, Benjamin Eysenbach외 3명|arXiv (Cornell University)|2020. 04. 06.

Reinforcement Learning in Robotics참고 문헌 83인용 수 5

한 줄 요약

이 논문은 시각 기반 연속 제어 작업에서 분리된 의미 있는 표현 공간을 학습하기 위해 쌍별 인간 선호 쿼리(예: '어느 이미지가 문을 더 넓게 열었나요?')를 사용하는 움직임에 약한 감독을 받는 제어(Weakly-Supervised Control, WSC) 프레임워크를 제안한다. 타당한 변동 요인들에 한해 탐색과 목표 생성을 제약함으로써 WSC는 강화학습의 속도를 높이고 일반화 능력을 향상시키며, 특히 복잡한 환경에서 자기지도 기반 기준보다 뛰어난 성능을 보인다.

ABSTRACT

Reinforcement learning (RL) is a powerful framework for learning to take actions to solve tasks. However, in many settings, an agent must winnow down the inconceivably large space of all possible tasks to the single task that it is currently being asked to solve. Can we instead constrain the space of tasks to those that are semantically meaningful? In this work, we introduce a framework for using weak supervision to automatically disentangle this semantically meaningful subspace of tasks from the enormous space of nonsensical "chaff" tasks. We show that this learned subspace enables efficient exploration and provides a representation that captures distance between states. On a variety of challenging, vision-based continuous control problems, our approach leads to substantial performance gains, particularly as the complexity of the environment grows.

연구 동기 및 목표

• 복잡한 환경에서 강화학습을 위해 수동적으로 보상 함수를 설계하거나 전문가의 시연 데이터를 수집하는 데서 오는 부담을 줄이기 위해.
• 환경 내 의미 있는 요인의 변동을 식별하고 집중함으로써 목표 조건부 정책의 효율적인 학습을 가능하게 하기 위해.
• 저비용이고 확장 가능한 방식으로 강화학습 에이전트에 유도적 편향을 주기 위해, 특히 쌍별 인간 선호 쿼리를 활용한 약한 감독을 활용하기 위해.
• 환경의 제어 가능한 요소를 포착하는 분리된 잠재 공간을 학습함으로써, 시각 기반 연속 제어 작업에서 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 사용자가 지정한 의미 있는 변동 차원과 일치하는 잠재 목표를 통해 이해 가능하고 인간이 제어할 수 있는 정책을 제공하기 위해.

제안 방법

• 이 방법은 쌍별 비교 쿼리(예: '어느 이미지가 문을 더 넓게 열었나요?')로부터 수집된 오프라인, 약한 레이블이 부여된 데이터를 사용해 분리된 표현 모델을 훈련한다.
• 의미 있는 요인의 변동이 분리되고 제어 가능한 잠재 공간을 학습하기 위해 대조 학습 목표를 적용한다.
• 분리된 표현을 사용해 상태와 목표 간의 거리 척도를 정의함으로써, 구조화된 탐색을 가능하게 하는 목표 조건부 강화학습을 수행한다.
• 프레임워크는 사전 훈련(표현 학습)과 강화학습 미세조정을 분리함으로써, 의미 있는 변동 축을 따라 목표를 생성할 수 있도록 한다.
• 관측값을 잠재 공간으로 매핑하기 위해 VAE 기반 인코더를 사용하며, 보상은 분리된 잠재 공간 내 L2 거리로 계산된다.
• 탐색은 분리된 공간에 의해 이끌리며, 인간이 지정한 작업과 관련된 차원에 집중하고 관련이 없는 요소는 무시한다.

실험 결과

연구 질문

• RQ1 고차원 시각 환경에서 쌍별 인간 비교를 통한 약한 감독이 의미 있는 요인의 변동을 효과적으로 탐지할 수 있는가?
• RQ2 약한 감독으로부터 얻은 분리된 표현이 목표 조건부 강화학습에서 샘플 효율성과 일반화 능력을 향상시키는가?
• RQ3 복잡한 시각 기반 제어 작업에서 WSC는 자기지도 기반 또는 무지도 기반 표현 학습과 비교해 어떻게 성능을 내는가?
• RQ4 분리된 잠재 공간을 사용해 의미 있는 목표를 생성하고, 명시적 보상 설계 없이도 방향성 있는 탐색을 가능하게 할 수 있는가?
• RQ5 약한 감독이 비의미적 또는 잘못 지정된 요인의 변동을 포함할 경우, 이 방법은 얼마나 강인한가?

주요 결과

• WSC는 복잡한 시각 기반 연속 제어 작업에서 자기지도 기반 기준 방법보다 학습 효율성과 최종 성능 모두에서 뚜렷한 승리를 거두었다.
• 약한 감독을 통해 학습된 분리된 표현은 다양한 목표 분포에 걸쳐 빠른 수렴과 더 나은 일반화 능력을 가능하게 하였다.
• 환경의 복잡성이 증가할수록 의미 있는 변동 요인에 따라 집중된 탐색 덕분에 성능 향상이 두드러졌다.
• WSC를 통해 학습된 잠재 정책는 이해 가능하며, 잠재 목표가 물체의 위치나 조명과 같은 제어 가능한 환경적 특성와 직접적으로 대응하였다.
• 전문가가 제공한 보상 함수나 시범 데이터의 필요성을 줄였으며, 대신 쉽게 수집 가능한 쌍별 선호 데이터에 의존하였다.
• 실험 결과, 분리된 표현 기반 접근이 약한 감독을 능동적으로 활용하는 데 핵심적임을 보여주었으며, 약한 감독을 수동적으로 사용하는 것과는 대조되었다.