[논문 리뷰] Imitation Learning with Recurrent Neural Networks

Khanh Nguyen|arXiv (Cornell University)|2016. 07. 18.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 4

한 줄 요약

이 논문은 학습을 통한 탐색(L2S)과 순환 신경망(RNN)을 스케줄링 샘플링 학습을 통해 통합하여 연속적인 탐색 공간 표현과 강건한 정책을 함께 학습할 수 있도록 한다. 이는 스케줄링 샘플링 학습이 온라인 DAgger와 동치임을 보여주며, 복합 오차를 감소시키고 순차 예측 작업에서 일반화 성능을 향상시킨다.

ABSTRACT

We present a novel view that unifies two frameworks that aim to solve sequential prediction problems: learning to search (L2S) and recurrent neural networks (RNN). We point out equivalences between elements of the two frameworks. By complementing what is missing from one framework comparing to the other, we introduce a more advanced imitation learning framework that, on one hand, augments L2S s notion of search space and, on the other hand, enhances RNNs training procedure to be more robust to compounding errors arising from training on highly correlated examples.

연구 동기 및 목표

• 높은 상관관계를 가지는 순차 데이터에 대해 훈련된 RNN에서의 복합 오차 문제를 학습을 통한 탐색(L2S)의 원리들을 통합하여 해결한다.
• L2S에서 정적이고 수작업으로 설계된 특징의 한계를 극복하기 위해 탐색 공간의 연속적이고 적응 가능한 표현을 학습한다.
• 학습된 벡터 공간 기하학을 통해 유사한 본 적 있는 상태들을 활용해 본 적 없는 상태를 근사할 수 있도록 함으로써 모방 학습의 일반화 성능을 향상시킨다.
• 훈련 중 은닉 상태의 분포를 정책이 자체적으로 유도하는 분포와 일치시킴으로써 RNN 훈련의 강건성을 향상시킨다.
• 스케줄링 샘플링 학습이 온라인 DAgger와 동치임을 보여줌으로써 L2S와 RNN 프레임워크를 통합한다. 이는 RNN 훈련에 대한 새로운 시각을 제공한다.

제안 방법

• 각 은닉 상태가 탐색 공간 내에서 취한 행동 경로를 나타내는 RNN 동역학을 사용하여 L2S 프레임워크를 재구성한다.
• 백프로파게이션을 통해 학습된 연속 벡터 표현으로서 탐색 상태를 정의하여 정적이고 수작업으로 설계된 특징을 대체한다.
• 각 시간 단계에서 참값 레이블과 예측 레이블 중에서 확률적으로 선택하여 은닉 상태를 계산하는 하이브리드 훈련 전략을 사용한다.
• 시간이 지남에 따라 참값 레이블 사용 확률을 점차 감소시켜 모델이 자신의 정책이 유도하는 상태 분포에서 훈련되도록 보장한다.
• 온라인 롤아웃 동안 수집된 (은닉 상태, 참값 레이블) 쌍의 데이터셋을 사용하여 미니배치 백프로파게이션으로 RNN을 훈련한다.
• 엔드 투 엔드 백프로파게이션을 통해 탐색 공간 표현과 정책을 함께 최적화함으로써 모델이 더 나은 의사결정을 위해 상태 공간을 설계할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 L2S의 탐색 공간을 RNN 프레임워크 내에서 연속적이고 학습 가능한 표현으로 재해석할 수 있는가?
• RQ2 RNN에서의 스케줄링 샘플링 학습은 L2S 프레임워크에서 온라인 DAgger와 어떤 관계가 있는가?
• RQ3 공동으로 학습된 연속적인 탐색 공간 표현은 상태 희소성 문제를 줄이고 모방 학습의 일반화 성능을 향상시킬 수 있는가?
• RQ4 정책 기반 상태 분포를 사용해 RNN을 훈련할 경우, 표준 지도 학습 대비 복합 오차가 감소하는가?
• RQ5 학습된 상태 공간 내 기하학적 유사성은 비슷한 본 적 있는 상태들을 활용해 본 적 없는 상태로의 일반화를 가능하게 하는가?

주요 결과

• 제안된 방법은 스케줄링 샘플링과 동치이며, 모델의 정책이 생성한 상태에서 훈련함으로써 RNN에서의 복합 오차를 감소시킨다.
• 탐색 공간 표현과 정책을 함께 학습함으로써 모델은 더 나은 의사결정을 가능하게 하기 위해 상태를 더 효과적으로 배치할 수 있다.
• 연속적이고 학습된 표현은 상태 유사성을 더 잘 포착하여 본 적 없는 상태로의 일반화 성능을 향상시키며, 정적이고 수작업으로 설계된 특징보다 우수하다.
• 이 방법은 궤적 길이에 따라 복합 오차가 선형적으로 증가하며, i.i.d. 데이터에서 지도 학습의 이론적 성능을 재현한다.
• L2S의 RNN 표현은 탐색 공간에 기하학적 해석을 제공하며, 코사인 유사도와 같은 벡터 거리 측정을 통해 유사도를 측정할 수 있다.
• 실험 결과는 이미지 캡션 생성, 문법 분석, 음성 인식과 같은 순서에서 순서로의 작업에서 표준 RNN 훈련 대비 성능 향상을 보였다.