[논문 리뷰] Unsupervised Behaviour Discovery with Quality-Diversity Optimisation

Luca Grillotti, Antoine Cully|arXiv (Cornell University)|2021. 06. 10.

Evolutionary Algorithms and Applications인용 수 8

한 줄 요약

이 논문은 원시 감각 데이터에서 행동 기술자를 자동으로 학습하는 품질-다양성(Quality-Diversity, QD) 알고리즘인 AURORA를 제안한다. 수동으로 정의된 기술자를 제거함으로써, 수동으로 정의된 기술자에 의존하지 않게 된다. 비지도 차원 축소와 QD 최적화를 조합함으로써 AURORA는 수동 기반 대안과 유사한 높은 성능을 보이며, 더 많은 행동 특성에서 새로운 행동을 포착하는 다양한 행동을 발견한다.

ABSTRACT

Quality-Diversity algorithms refer to a class of evolutionary algorithms designed to find a collection of diverse and high-performing solutions to a given problem. In robotics, such algorithms can be used for generating a collection of controllers covering most of the possible behaviours of a robot. To do so, these algorithms associate a behavioural descriptor to each of these behaviours. Each behavioural descriptor is used for estimating the novelty of one behaviour compared to the others. In most existing algorithms, the behavioural descriptor needs to be hand-coded, thus requiring prior knowledge about the task to solve. In this paper, we introduce: Autonomous Robots Realising their Abilities, an algorithm that uses a dimensionality reduction technique to automatically learn behavioural descriptors based on raw sensory data. The performance of this algorithm is assessed on three robotic tasks in simulation. The experimental results show that it performs similarly to traditional hand-coded approaches without the requirement to provide any hand-coded behavioural descriptor. In the collection of diverse and high-performing solutions, it also manages to find behaviours that are novel with respect to more features than its hand-coded baselines. Finally, we introduce a variant of the algorithm which is robust to the dimensionality of the behavioural descriptor space.

연구 동기 및 목표

• 수행 지식이 필요하고 다양성을 왜곡할 수 있는 수동으로 정의된 행동 기술자의 한계를 해결하기 위해.
• 오직 원시 감각 데이터만을 사용하여 로봇이 자율적으로 다양한 고성능 행동의 세트를 발견할 수 있도록 하기 위해.
• 비지도 방식으로 의미 있는 저차원 행동 기술자를 학습할 수 있는 QD 알고리즘을 개발하기 위해.
• 새로운 컨테이너 크기 제어 메커니즘을 통해 학습된 행동 기술자 공간의 차원 수에 대해 강건성을 확보하기 위해.
• 모의 로봇 과제에서 방법을 평가하고 전통적인 수동 기반 QD 기반 대안과 비교하기 위해.

제안 방법

• AURORA는 QD 최적화 단계와 인코더 업데이트 단계를 번갈아가며 반복적으로 행동 기술자 학습을 향상시킨다.
• 대비 학습을 통해 훈련된 신경 자동차오디터를 사용하여 로봇 제어기의 원시 감각 데이터를 저차원 행동 기술자로 인코딩한다.
• 컨테이너 내에서 인코딩된 행동 기술자 간의 거리 기반으로 낙관을 계산하며, 배제적인 ε-지배 기준을 사용한 k-최근접 이웃을 활용한다.
• 컨테이너는 기존 구성원과 비교해 높은 적합도와 충분한 낙관성을 가진 개체만을 추가함으로써 다양성과 성능를 유지한다.
• 컨테이너 크기 제어(CSC) 메커니즘은 비례 제어 루프를 사용하여 컨테이너 크기를 동적으로 조정함으로써 목표 크기를 유지한다.
• 학습된 행동 분포의 변화에 적응하기 위해 인코더는 컨테이너의 현재 데이터에서 주기적으로 재훈련된다.

실험 결과

연구 질문

• RQ1 QD 알고리즘이 수동으로 정의된 사양 없이 원시 감각 데이터에서 효과적인 행동 기술자를 학습할 수 있는가?
• RQ2 AURORA의 성능와 다양성은 행동 커버리지와 적합도 측면에서 전통적인 수동 기반 QD 기반 대안과 비교해 어떻게 되는가?
• RQ3 수동 기반 기술자보다 더 많은 특성에서 AURORA는 얼마나 행동의 낙관성을 포착하는가?
• RQ4 학습된 행동 기술자 공간의 차원 수 변화에 대해 AURORA는 얼마나 강건한가?
• RQ5 수동 기반 기술자가 정의하기 어려운 복잡한 로봇 과제에 AURORA는 일반화할 수 있는가?

주요 결과

• AURORA는 미로 탐색, 6족 보행, 에어하키와 같은 세 가지 모의 로봇 과제에서 수동 기반 QD 기반 대안과 유사한 성능을 달성한다.
• 알고리즘은 수동 기반 대비 더 많은 특성에서 낙관적인 행동을 발견함으로써 더 넓은 행동 다양성을 나타낸다.
• 컨테이너 크기 제어 기능이 있는 AURORA-CSC는 다양한 기술자 공간 차원에서 안정적인 컨테이너 크기와 성능를 유지한다.
• AURORA의 성능는 수동 기술자 대비 감각 데이터의 정보량에 따라 달라지며, 감각 데이터가 더 풍부할수록 더 세밀한 행동 차이를 포착한다.
• 컨테이너 크기 제어 메커니즘은 학습된 기술자 공간의 차원 수 변화가 발생하더라도 컨테이너의 과도한 팽창을 효과적으로 방지한다.
• 실제 환경 적용 가능성은 보여주지만, 향후 연구를 통해 리셋되지 않고 부분 관측 가능한 환경에서의 평가가 필요하다.