[논문 리뷰] Learning Temporal Strategic Relationships using Generative Adversarial Imitation Learning

Tharindu Fernando, Simon Denman외 2명|arXiv (Cornell University)|2018. 05. 13.

Reinforcement Learning in Robotics참고 문헌 38인용 수 20

한 줄 요약

이 논문은 장기적 계획을 위한 전문가 시범에서 시간적 전략적 관계를 모델링하기 위해 국소적 및 전역적 메모리 모듈을 통합한 새로운 생성적 적대적 모방학습 프레임워크인 MA-GAIL을 제안한다. 메모리 보강 보상 신호를 활용하여 하위작업 시퀀스와 전문가별 전략을 학습함으로써, 자율주행 시뮬레이션에서 기존 최고 수준의 방법들을 능가하며 주행선 이탈 감소, 원활한 상태 전이 및 개선된 차선 변경 성능을 달성한다.

ABSTRACT

This paper presents a novel framework for automatic learning of complex strategies in human decision making. The task that we are interested in is to better facilitate long term planning for complex, multi-step events. We observe temporal relationships at the subtask level of expert demonstrations, and determine the different strategies employed in order to successfully complete a task. To capture the relationship between the subtasks and the overall goal, we utilise two external memory modules, one for capturing dependencies within a single expert demonstration, such as the sequential relationship among different sub tasks, and a global memory module for modelling task level characteristics such as best practice employed by different humans based on their domain expertise. Furthermore, we demonstrate how the hidden state representation of the memory can be used as a reward signal to smooth the state transitions, eradicating subtle changes. We evaluate the effectiveness of the proposed model for an autonomous highway driving application, where we demonstrate its capability to learn different expert policies and outperform state-of-the-art methods. The scope in industrial applications extends to any robotics and automation application which requires learning from complex demonstrations containing series of subtasks.

연구 동기 및 목표

• 표준 GAIL이 전문가 시범에서 장기적 시간적 의존성과 순차적 하위작업 관계를 포착하는 데 한계가 있음을 해결하기 위해.
• 복잡한 의사결정 과제에서 궤도 내 하위작업 간 의존성(국소적 메모리)과 전문가 간 전략적 변동성(전역적 메모리)을 모두 모델링하기 위해.
• 상태 전이 정규화를 위해 메모리 은닉 상태를 보상 신호로 사용하여 정책의 원활함을 향상시키고 부자연스러운 운전 행동을 감소시키기 위해.
• 수동으로 설계된 보상 함수 없이 데이터 기반, 아키텍처에 종속되지 않는 모방학습을 가능하게 하여 로봇공학 및 자동화 분야에 적용 가능하게 하기 위해.
• 모델이 특정 지표에서 인간 전문가를 초월할 수 있으며, 다른 지표에서는 성능을 유사하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• 단일 전문가 시범 내 하위작업 시퀀스를 추적하고 시범마다 재설정되는 국소적 메모리 모듈을 갖춘 이중 메모리 아키텍처를 도입한다.
• 다수의 시범에서 전문가 간 행동 변동성과 도메인 수준의 최고 실천 방식을 포괄하는 전역적 메모리 모듈을 활용한다.
• 양측 메모리 모듈의 은닉 상태를 보상 신호로 사용하여 정책 학습을 이끌며, 원활하고 안정적인 상태 전이를 촉진한다.
• 현재 상태뿐 아니라 이력적 맥락까지 고려하는 메모리 보강 디스criminator를 도입하여 GAIL 프레임워크를 확장한다.
• 연속된 시간 단계 간 메모리 상태의 분산을 측정하여 급격한 상태 변화를 방지하는 보상 보강 메커니즘을 적용한다.
• 생성자(정책)가 전문가와 유사한 행동을 구분하는 것을 디스criminator가 최소화하도록 하는 적대적 모방학습을 통해 정책 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 복잡하고 다단계적인 전문가 시범에서 하위작업 간 순차적 관계를 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 유사한 환경 조건에서 메모리 보강 GAIL 프레임워크가 서로 다른 전문가 전략을 얼마나 잘 분리할 수 있는가?
• RQ3 메모리에서 유도된 보상 신호가 모방학습에서 정책의 원활함을 향상시키고 바람직하지 않은 상태 전이를 줄일 수 있는가?
• RQ4 국소적 및 전역적 메모리 모듈의 통합이 표준 GAIL 또는 BC 방법에 비해 장기적 계획 능력을 얼마나 향상시키는가?
• RQ5 제안된 방법이 다양한 전문가 행동에 일반화되어 특정 주행 지표에서 인간 시범자들을 능가할 수 있는가?

주요 결과

• 제안된 MA-GAIL 모델은 1.40의 이동 거리(정규화 단위)를 기록하여 인간 전문가를 포함한 모든 베이스라인을 초월하였다.
• MA-GAIL은 하드 브레이크 비율을 0.19로 낮춰 다음으로 우수한 베이스라인(MA-GAIL / M^G)의 0.20보다 유의미하게 낮추며 더 원활한 주행 행동을 보였다.
• 모델은 모든 방법 중에서 가장 낮은 차선 변경 비율(0.33)을 기록하여 하위작업 정밀도 향상과 진동 감소를 입증하였다.
• 절단 실험 결과 국소적 또는 전역적 메모리 모듈을 제거할 경우 성능 저하가 발생했으며, MA-GAIL / M^L의 경우 차선 변경 수는 0.59, 주행선 이탈 비율은 0.42로 나타났다.
• 보상 보강 메커니즘(MA-GAIL / RA)은 베이스라인 GAIL에 비해 성능 향상을 보였지만, 전체 MA-GAIL 모델에 비해 열등했으며, 이는 그 필요성을 입증하였다.
• 정성적 결과는 다양한 시각적 입력에서 차선 변경, 추월, 회전과 같은 복잡한 조작을 성공적으로 수행함으로써 시간적 맥락 이해의 강력한 능력을 보였다.