[논문 리뷰] Learning a Multi-Modal Policy via Imitating Demonstrations with Mixed Behaviors

Fang-I Hsiao, Jui-Hsuan Kuo외 1명|arXiv (Cornell University)|2019. 03. 25.

Multimodal Machine Learning Applications참고 문헌 32인용 수 7

한 줄 요약

이 논문은 행동 레이블 없이 혼합된 전문가 시연에서 다중 모달 정책을 학습하기 위해 이산 잠재 변수를 가진 변분 오토인코더를 제안한다. 이산 잠재 요소를 통해 서로 다른 행동을 분리함으로써 조건부 조절을 통한 정밀한 행동 제어를 가능하게 하여, 고차원 시각 입력과 알려지지 않은 행동 수에 대한 제로샷 일반화를 포함한 과제에서 지도 학습 방법과 경쟁 가능한 성능을 달성한다.

ABSTRACT

We propose a novel approach to train a multi-modal policy from mixed demonstrations without their behavior labels. We develop a method to discover the latent factors of variation in the demonstrations. Specifically, our method is based on the variational autoencoder with a categorical latent variable. The encoder infers discrete latent factors corresponding to different behaviors from demonstrations. The decoder, as a policy, performs the behaviors accordingly. Once learned, the policy is able to reproduce a specific behavior by simply conditioning on a categorical vector. We evaluate our method on three different tasks, including a challenging task with high-dimensional visual inputs. Experimental results show that our approach is better than various baseline methods and competitive with a multi-modal policy trained by ground truth behavior labels.

연구 동기 및 목표

• 레이블이 없는 혼합 시범에서 사전에 정의된 행동 레이블 없이 여러 행동을 학습하는 데 도전한다.
• 이산 잠재 코드에 조건을 주어 특정 행동을 재현할 수 있는 제어 가능한 정책을 개발한다.
• 데이터 내 행동 수에 대한 사전 지식 없이도 별개의 행동을 제로샷으로 발견할 수 있도록 한다.
• 자율 주행 과제와 같이 고차원 시각 입력에 대해 이 방법을 확장한다.
• 지상 진술 행동 레이블이 없는 기존의 타깃 학습 및 VAE 기반 방법보다 다중 모달 행동 학습에서 성능을 뛰어나게 한다.

제안 방법

• 혼합 시범 내 이산 행동 모드를 모델링하기 위해 이산 잠재 변수를 가진 변분 오토인코더(VAE)를 사용한다.
• 에너드어는 시범 트레이제터리로부터 특정 행동에 해당하는 이산 잠재 요소를 추론한다.
• 디코더는 이산 잠재 코드에 조건을 주어 해당 행동을 재현하는 행동을 생성하는 정책 역할을 한다.
• 연속 잠재 변수에 표준 정규 prior를, 이산 행동 코드에 이산 prior를 사용하여 분리된 표현 학습을 가능하게 한다.
• 고차원 입력 과제(예: 자동차 주행)에 대해 GoogLeNet의 이전 단계 레이어에서 시각 특징을 추출함으로써 전이 학습을 적용한다.
• 재구성 기법을 사용해 VAE의 엔드 투 엔드 학습을 가능하게 하여, Gumbel-Softmax를 통해 이산 잠재 변수를 통해 역전파를 수행한다.

실험 결과

연구 질문

• RQ1 이산 잠재 변수를 가진 VAE는 레이블이 없는 혼합 시범에서 복수의 별개 행동을 효과적으로 발견하고 분리할 수 있는가?
• RQ2 행동 레이블 없이도 이산 잠재 코드에 조건을 주어 각 행동을 고정밀도로 재현할 수 있는가?
• RQ3 자율 주행 시나리오와 같은 고차원 시각 입력에 대해 이 방법이 일반화되는가?
• RQ4 데이터 내 행동 수에 대한 사전 지식 없이도 모든 별개 행동을 발견할 수 있는가?
• RQ5 지상 진술 행동 레이블이 없는 지도 학습 기반 기준 및 다른 VAE 기반 접근법과 비교해 행동 분리 및 재현 정확도 측면에서 이 방법은 어떻게 성과를 내는가?

주요 결과

• 로봇 팔 과제에서 혼합 시범을 통해 8개의 별개 행동을 성공적으로 학습하고, 일치하는 전문가 속도로 일괄 벡터에 조건을 주어 재현한다.
• 고차원 시각 입력이 있는 TORCS 자동차 주행 과제에서, 이미지 특징만으로 방향과 속도에 대한 행동을 명확히 분리함으로써 강건한 일반화 능력을 보여준다.
• 카테고리 수가 실제 행동 수를 초과할 경우에도 모든 별개 행동을 발견하고 유사한 행동들을 함께 그룹화함으로써 과도한 파rameter화에 대한 강건성을 보여준다.
• 카테고리 수가 실제 행동 수보다 적을 경우에도 모델은 여전히 별개 행동을 식별하고 분리할 수 있으며, 기저 구조를 발견하는 데 있어 탄력성을 보여준다.
• 지상 진술 행동 레이블이 없는 지도 학습 기반 다중 모달 정책과 경쟁 가능한 성능을 달성함에도 불구하고, 이러한 레이블이 없이도 성과를 내었다.
• 모델은 예측할 수 없는 행동으로 일반화되며, 카테고리 수가 사전에 알려지지 않은 상태에서도 분리된 표현을 유지한다.