[논문 리뷰] Provable Representation Learning for Imitation Learning via Bi-level Optimization

Sanjeev Arora, Simon S. Du외 3명|arXiv (Cornell University)|2020. 02. 24.

Reinforcement Learning in Robotics참고 문헌 37인용 수 4

한 줄 요약

이 논문은 복수의 전문가 경로에서 공유 표현을 학습하여 샘플 복잡도를 감소시키는 증명 가능 표현 학습을 위한 이중 최적화 프레임워크를 제안한다. 이 방법은 행동 클로닝 및 관찰 전용 설정 모두에서 이론적 보장을 달성하며, 표현 학습이 이mitation 학습 과제에서 샘플 효율성을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

A common strategy in modern learning systems is to learn a representation that is useful for many tasks, a.k.a. representation learning. We study this strategy in the imitation learning setting for Markov decision processes (MDPs) where multiple experts' trajectories are available. We formulate representation learning as a bi-level optimization problem where the "outer" optimization tries to learn the joint representation and the "inner" optimization encodes the imitation learning setup and tries to learn task-specific parameters. We instantiate this framework for the imitation learning settings of behavior cloning and observation-alone. Theoretically, we show using our framework that representation learning can provide sample complexity benefits for imitation learning in both settings. We also provide proof-of-concept experiments to verify our theory.

연구 동기 및 목표

• 다양한 MDP를 보여주는 복수의 전문가 시퀀스를 활용하여 표현 학습을 통해 이mitation 학습의 높은 샘플 복잡도 문제를 해결하기 위해.
• 이미테이션 학습에서 표현 학습을 이중 최적화 문제로 공식화하여, 공동 표현 학습과 작업별 정책 학습을 분리하기 위해.
• 전문가 행동이 관찰 가능한 (행동 클로닝) 및 관찰 불가능한 (관찰 전용) 두 설정 모두에서 이mitation 학습의 증명 가능한 샘플 복잡도 이점을 제공하기 위해.
• NoisyCombinationLock 및 SwimmerVelocity와 같은 환경에서 실험을 통해 이론적 통찰을 실증적으로 검증하기 위해.
• 감독 학습에서의 다중 작업 표현 학습과 단일 작업 이mitation 학습을 연결하여, 비볼록 손실 보장을 제공하기 위해.

제안 방법

• 이미테이션 학습을 이중 최적화 문제로 공식화: 외부 최적화는 공유 표현을 학습하고, 내부 최적화는 이미테이션을 통해 작업별 정책을 학습한다.
• 행동 클로닝의 경우, 내부 최적화는 전문가 행동과 정책 출력 간의 교차 엔트로피를 최소화하며, 공유 표현을 사용한다.
• 관찰 전용 설정의 경우, 내부 최적화는 Sun 등 (2019)의 영감을 받아 최소-최대 형식을 사용하여 환경과의 상호작용을 통해 정책을 추론한다.
• 이 프레임워크는 관찰 전용 설정에서 에이전트가 환경과 상호작용할 수 있도록 하여, 전문가 행동에 접근할 수 없음에도 불구하고 정책 학습이 가능하게 한다.
• 표현은 신경망(예: ReLU 활성화를 갖는 선형층)으로 파arameter화되며, 작업별 헤드와 함께 엔드 투 엔드 학습을 통해 공동 최적화된다.
• 전체 손실은 모든 작업에 걸쳐 행동 클로닝 목표를 조합하며, 공유 표현 조건 하에서 전문가 행동의 음의 로그우도를 최소화한다.

실험 결과

연구 질문

• RQ1 다양한 MDP를 보여주는 복수의 전문가가 존재할 때, 표현 학습이 이미테이션 학습에서 샘플 복잡도를 증명 가능하게 감소시킬 수 있는가?
• RQ2 이중 최적화 프레임워크는 전문가 행동이 가용한 행동 클로닝 설정에서 효과적인 표현 학습을 가능하게 하는가?
• RQ3 이 프레임워크는 전문가 행동이 숨겨진 더 도전적인 관찰 전용 설정으로 일반화될 수 있는가?
• RQ4 공유 표현을 사용할 경우, 초기 학습에서부터 학습하는 것과 비교해 샘플 복잡도 이점이 이론적으로 얼마나 큰가?
• RQ5 이 프레임워크는 복잡한 환경에서 정책 학습을 위한 샘플 요구량을 줄이는 데 실증적으로 얼마나 효과적인가?

주요 결과

• 제안된 이중 최적화 프레임워크는 행동 클로닝 및 관찰 전용 이미테이션 학습 설정 모두에서 증명 가능한 샘플 복잡도 이점을 제공한다.
• 행동 클로닝 설정에서, 충분한 수의 전문가가 존재할 경우, 표현 학습은 새로운 작업에 필요한 시퀀스 수를 감소시킴을 보여준다.
• 관찰 전용 설정에서, 최소-최대 내부 최적화는 전문가 행동 감독 없이도 정책 학습이 가능하게 하며, 샘플 효율성에 대한 이론적 보장을 제공한다.
• NoisyCombinationLock 및 SwimmerVelocity에서의 실험은 표현 학습이 더 적은 시퀀스로 더 빠른 정책 수렴을 가능하게 함을 보여준다.
• 학습된 표현을 사용한 정책 최적화는 무작위 초기화에서 학습하는 것보다 더 적은 학습 단계로 더 높은 수익을 달성한다.
• 이 프레임워크는 작업 간 일반화에 성공하여, 다양한 전문가로부터 학습된 표현이 새로운 이미테이션 학습 과제에 제로샷 전이를 향상시킴을 보여준다.