[논문 리뷰] Inferring The Latent Structure of Human Decision-Making from Raw Visual Inputs

Yunzhu Li, Jiaming Song외 1명|arXiv (Cornell University)|2017. 01. 01.

Adversarial Robustness in Machine Learning인용 수 1

한 줄 요약

이 논문은 강화 학습 신호 없이 원시 시각 입력에서 잠재적 의사결정 구조를 추론하는 GAIL 기반 방법을 제안하며, 다양한 인간 행동을 해석 가능한 방식으로 모방할 수 있도록 한다. 고차원 환경인 고속도로 주행과 같은 환경에서 분리된 주행 스타일을 학습하고 인간 행동을 예측함으로써 뛰어난 성능을 달성한다.

ABSTRACT

The goal of imitation learning is to match example expert behavior, without access to a reinforcement signal. Expert demonstrations provided by humans, however, often show significant variability due to latent factors that are not explicitly modeled. We introduce an extension to the Generative Adversarial Imitation Learning method that can infer the latent structure of human decision-making in an unsupervised way. Our method can not only imitate complex behaviors, but also learn interpretable and meaningful representations. We demonstrate that the approach is applicable to high-dimensional environments including raw visual inputs. In the highway driving domain, we show that a model learned from demonstrations is able to both produce different driving styles and accurately anticipate human actions. Our method surpasses various baselines in terms of performance and functionality.

연구 동기 및 목표

• 모의 학습에서 고려하지 않은 잠재 요인으로 인한 전문가 시범의 변동성을 다루기 위해.
• 인간 의사결정의 해석 가능하고 의미 있는 표현을 비지도로 발견하기 위해.
• 고차원 환경에서 원시 시각 입력에 직접 작용하도록 생성적 적대적 모방 학습(GAIL)을 확장하기 위해.
• 다양한 주행 스타일을 반영하면서도 인간 행동을 정확히 예측하는 행동 정책을 학습하기 위해.

제안 방법

• 전문가 시범에서 정책과 잠재 변수를 동시에 최적화하기 위해 변동형 추론 프레임워크를 GAIL에 통합한다.
• 유추된 잠재 요인에 조건부로 행동 정책를 모델링하기 위해 조건부 생성자 사용으로 다양한 행동 생성을 가능하게 한다.
• 전문가 경로와 생성된 경로를 구분하는 판별자 사용으로, 원시 픽셀 관측을 입력으로 사용한다.
• 감독 없이도 시각 입력에서 잠재 요인을 분리하기 위해 변동형 오토인코더(VAE) 유사 구조를 적용한다.
• 적대적 모방 손실과 KL 정규화를 사용해 정책과 잠재 추론 네트워크를 엔드 투 엔드로 훈련한다.
• 수동으로 설계된 상태 표현을 피하기 위해 원시 시각 관측을 입력으로 활용한다.

실험 결과

연구 질문

• RQ1 명시적 감독 없이 원시 시각 입력에서 인간 의사결정의 잠재 요소를 추론할 수 있는가?
• RQ2 유추된 잠재적 구조는 모의 학습에서 해석 가능하고 다양한 행동 정책를 이끌 수 있는가?
• RQ3 고차원 시각 환경인 고속도로 주행과 같은 환경에 대해 이 방법은 얼마나 잘 일반화되는가?
• RQ4 단지 전문가 시범만을 사용할 때, 이 모델은 기준 모델보다 인간 행동을 더 정확히 예측할 수 있는가?

주요 결과

• 모델은 원시 시각 입력에서 분리되고 해석 가능한 잠재 요소를 성공적으로 추론하여 다양한 주행 스타일을 가능하게 했다.
• 고속도로 주행 환경에서의 모의 학습에서 여러 기준 모델보다 뛰어난 성능을 달성했다.
• 전문가 행동의 잠재적 구조를 활용함으로써 행동 예측 성능이 향상됨을 입증했다.
• 엔지니어링된 상태 표현이 필요 없이도 고차원 시각 입력에 효과적으로 일반화됨을 입증했다.