[논문 리뷰] Controllability-Aware Unsupervised Skill Discovery

Seohong Park, Kimin Lee외 2명|arXiv (Cornell University)|2023. 02. 10.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

통제 가능성 인지 기반 스킬 발견(CSD)을 도입하는 비감독 학습 방법으로, 제어 가능성 인식 거리 함수와 거리 최대화를 통한 스킬 발견을 결합하여 점점 더 복잡하고 제어하기 어려운 기술을 학습합니다.

ABSTRACT

One of the key capabilities of intelligent agents is the ability to discover useful skills without external supervision. However, the current unsupervised skill discovery methods are often limited to acquiring simple, easy-to-learn skills due to the lack of incentives to discover more complex, challenging behaviors. We introduce a novel unsupervised skill discovery method, Controllability-aware Skill Discovery (CSD), which actively seeks complex, hard-to-control skills without supervision. The key component of CSD is a controllability-aware distance function, which assigns larger values to state transitions that are harder to achieve with the current skills. Combined with distance-maximizing skill discovery, CSD progressively learns more challenging skills over the course of training as our jointly trained distance function reduces rewards for easy-to-achieve skills. Our experimental results in six robotic manipulation and locomotion environments demonstrate that CSD can discover diverse complex skills including object manipulation and locomotion skills with no supervision, significantly outperforming prior unsupervised skill discovery methods. Videos and code are available at https://seohong.me/projects/csd/

연구 동기 및 목표

• 외부 보상 없이 간단하고 배우기 쉬운 행동을 넘어서 비감독 스킬 발견을 촉진한다.
• 제어하기 어려운 전이를 강조하는 제어 가능성 인식 거리 함수를 제안한다.
• 점진적인 스킬 복잡성을 위한 제어 가능성 인식 거리를 통합하는 거리 최대화 프레임워크를 제시한다.

제안 방법

• 유클리드 거리를 d(·,·) 거리 함수로 대체하는 일반적인 Distance-maximizing Skill Discovery (DSD) 목표를 정의한다.
• 학습된 밀도 모델 qθ(s′|s)를 사용해 달성하기 어려운 전이에 더 큰 값을 할당하는 제어 가능성 인식 거리 함수 dCSD를 도입한다.
• 정책이 스킬 z와의 방향 정렬을 기반으로 한 내재 보상 rDSD를 사용하여 SAC로 최적화되는 공동 시스템을 학습한다.
• d가 진 metric이 아닐 때 DSD 목표의 제약을 이중 그래디언트 하강으로 강제하고, φ(·)와 밀도 모델을 동시에 학습한다.
• dCSD가 d의 하한을 제공하는 유효한 의사측정(pseudometric)을 만든다는 것을 보이고, 임의의 비음수 거리 함수의 사용을 가능하게 한다.
• Fetch 조작, Kitchen, 및 MuJoCo 로봇 이동 등 여섯 가지 환경에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 비감독 스킬 발견을 감독 없이도 복잡하고 제어하기 어려운 행동으로 이끌 수 있는가?
• RQ2 제어 가능성 인식 거리 함수가 탐색을 물체 조작 및 기타 도전적인 전이로 이끄는가?
• RQ3 학습된 거리 함수를 갖춘 제안된 DSD 프레임워크가 조작 및 로봇 이동 영역에서 다양하고 하위 작업에 유용한 기술을 생성할 수 있는가?
• RQ4 학습된 거리 함수가 정책 변화에 적응하고 학습 과정에서 점진적으로 더 어려운 기술을 여전히 만들어낼 수 있는가?

주요 결과

• CSD는 Fetch 환경에서 비감독 없이 물체 조작을 포함한 다양하고 복잡한 기술의 발견을 가능하게 한다.
• 학습된 제어 가능성 인식 거리는 스킬 발견이 제어하기 어려운 전이에 집중하도록 이끌어 점진적인 기술 복잡성으로 이어진다.
• Fetch, Kitchen, MuJoCo 도메인 전반에서 CSD는 이전 비감독 방법(LSD, DIAYN, DADS)보다 더 큰 물체/상태 커버리지와 더 나은 하위 작업 성능을 달성한다.
• 삭제 실험은 제어 가능성 인식 거리 함수가 비감독 학습으로 복잡한 조작 기술을 학습하는 데 필요하다는 것을 보여준다.