[논문 리뷰] CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery

Michael Laskin, Hao Liu외 4명|arXiv (Cornell University)|2022. 02. 01.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

CIC는 상태 전이와 잠재 스킬 벡터 간의 상호정보를 노이즈 대비 추정(NCE)과 입자 기반 엔트로피 추정을 사용하여 최대화하는 대trastive 내재 제어 알고리즘을 제안한다. 이는 비지도 강화학습 벤치마크에서 최신 기술 수준의 적응 효율성을 달성하며, 이전 방법보다 1.79배 높은 후행 작업 수익을 기록하고, 다음으로 우수한 탐색 알고리즘보다 1.18배 높은 성능을 보인다.

ABSTRACT

We introduce Contrastive Intrinsic Control (CIC), an algorithm for unsupervised skill discovery that maximizes the mutual information between state-transitions and latent skill vectors. CIC utilizes contrastive learning between state-transitions and skills to learn behavior embeddings and maximizes the entropy of these embeddings as an intrinsic reward to encourage behavioral diversity. We evaluate our algorithm on the Unsupervised Reinforcement Learning Benchmark, which consists of a long reward-free pre-training phase followed by a short adaptation phase to downstream tasks with extrinsic rewards. CIC substantially improves over prior methods in terms of adaptation efficiency, outperforming prior unsupervised skill discovery methods by 1.79x and the next leading overall exploration algorithm by 1.18x.

연구 동기 및 목표

• 외부 보상 없이 비지도 강화학습에서 효율적인 탐색과 스킬 발굴에 도전하는 것.
• 지식 기반 및 데이터 기반 접근 방식에 비해 훈련 안정성과 성능에서 어려움을 겪는 기존 능력 기반 방법을 개선하는 것.
• 상태 전이와 잠재 스킬 간의 상호정보 최대화를 통해 다양하고 재사용 가능한 행동을 학습하는 방법을 개발하는 것.
• 보상 없이 사전 훈련 단계를 거친 후 후행 작업에 대해 더 빠르고 효과적으로 피지컬 튜닝을 가능하게 하는 것.
• 연속 제어에 특화된 새로운 대비 학습 목표를 도입하여 스킬 벡터와 상태 전이를 구분하는 것.

제안 방법

• CIC는 상태 전이(s, s')와 잠재 스킬 벡터 간의 상호정보를 최대화하기 위해 대비 학습 목표를 사용하여 다양한 행동을 학습하도록 유도한다.
• 행동의 다양성을 명시적으로 증진하기 위해 상태 전이 엔트로피를 입자 기반 추정기로 추정한다.
• 스킬 조건부 엔트로피에 대해 노이즈 대비 추정(NCE) 손실을 적용하여 긍정적 및 부정적 스킬 전이 간의 효과적인 구분을 가능하게 한다.
• 온도 스케일링을 사용한 대비 손실을 통해 상호정보 최대화와 스킬 공간 내 엔트로피 최대화를 동시에 최적화한다.
• 스킬 네트워크와 전이 네트워크가 공유 임bedding 공간으로 스킬과 상태 전이를 매핑하며, 대비 손실에 사용되는 정규화된 특징을 포함한다.
• 훈련 중 알고리즘은 리play 버퍼에서 상태-전이 튜플을 샘플링하고, 대비 및 엔트로피 목표를 통해 역전파를 통해 정책 및 스킬 네트워크를 업데이트한다.

실험 결과

연구 질문

• RQ1 능력 기반 탐색 방법이 이전 비지도 RL 알고리즘에 비해 우수한 적응 효율을 달성할 수 있는가?
• RQ2 입자 기반 엔트로피 추정과 노이즈 대비 추정을 조합함으로써 스킬의 다양성과 학습 효율성이 향상되는가?
• RQ3 상태 전이와 잠재 스킬 간의 대비 학습이 연속 제어 환경에서 시각 기반 대비 학습 방법보다 우월한가?
• RQ4 지식 기반 및 데이터 기반 탐색 방법과 비교했을 때 CIC는 후행 작업 성능에서 어떤가?
• RQ5 상태 전이와 스킬 간의 상호정보 최대화가 재사용 가능하고 일반화 가능한 스킬을 도출하는 데 얼마나 기여하는가?

주요 결과

• CIC는 비지도 강화학습 벤치마크에서 이전의 능력 기반 비지도 RL 방법보다 1.79배 높은 후행 작업 수익을 달성한다.
• 동일한 벤치마크에서 CIC는 다음으로 우수한 전체 탐색 알고리즘보다 적응 효율성에서 1.18배 높은 성능을 기록한다.
• CIC는 이전의 능력 기반 방법이 불안정성으로 인해 실패하는 고정 길이, 리셋되지 않는 환경(예: Walker 및 Quadruped)에서도 학습이 가능하게 한다.
• 이 방법은 연속 제어 환경에서 의미 있는 스킬을 성공적으로 발굴하였으며, Walker의 균형 잡기 및 걷기, Quadruped의 뒤집기 및 걷기, 6-DOF 로봇 암의 锁정지 않는 운동 등을 포함한다.
• 노이즈 대비 추정 기반 CIC의 대비 손실은 올바른 및 잘못된 스킬 전이 간의 효과적인 구분을 가능하게 하여 정책 일반화를 향상시킨다.
• 실험 결과에 따르면 CIC의 입자 및 NCE 추정기를 통한 MI 추정은 상호정보 경계가 느슨할지라도 안정적인 훈련과 뛰어난 성능을 보였다.