[논문 리뷰] Predictive-State Decoders: Encoding the Future into Recurrent Networks

Arun Venkatraman, Nicholas Rhinehart외 6명|arXiv (Cornell University)|2017. 09. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 12

한 줄 요약

이 논문은 미래 관측값을 예측하기 위해 내부 상태에 직접적인 감독을 추가함으로써 순환 신경망(RNNs)의 성능을 햖थ하는 Predictive-State Decoders (Psd)를 소개한다. 미래 예측 기반의 단순 정규화 손실을 통합함으로써, 확률적 필터링, 이mitation 학습, 강화 학습에서 반복 횟수와 데이터 양을 줄이고도 훈련 수렴 속도와 성능을 향상시키며, TRPO 기반 강화 학습 환경을 포함한 벤치마크 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) are a vital modeling technique that rely on internal states learned indirectly by optimization of a supervised, unsupervised, or reinforcement training loss. RNNs are used to model dynamic processes that are characterized by underlying latent states whose form is often unknown, precluding its analytic representation inside an RNN. In the Predictive-State Representation (PSR) literature, latent state processes are modeled by an internal state representation that directly models the distribution of future observations, and most recent work in this area has relied on explicitly representing and targeting sufficient statistics of this probability distribution. We seek to combine the advantages of RNNs and PSRs by augmenting existing state-of-the-art recurrent neural networks with Predictive-State Decoders (PSDs), which add supervision to the network's internal state representation to target predicting future observations. Predictive-State Decoders are simple to implement and easily incorporated into existing training pipelines via additional loss regularization. We demonstrate the effectiveness of PSDs with experimental results in three different domains: probabilistic filtering, Imitation Learning, and Reinforcement Learning. In each, our method improves statistical performance of state-of-the-art recurrent baselines and does so with fewer iterations and less data.

연구 동기 및 목표

• 기본 잠재 상태가 제공되지 않는 상황에서 RNN 내부 상태 표현을 의미 있게 학습하는 데 도전하는 것.
• 미래 관측값 예측을 통해 내부 상태를 직접적으로 감독함으로써 RNN 훈련의 안정성과 성능을 향상시키는 것.
• RNN과 예측 상태 표현(PSRs)의 장점을 융합하기 위해 훈련 목표에 미래 예측을 통합하는 것.
• 구조적 변경 없이도 순차적 모델링 과제에서 더 빠른 수렴과 향상된 최종 성능를 가능하게 하는 것.
• 기존 RNN 파ip라인을 최소한의 계산 비용으로 향상시킬 수 있는 즉시 사용 가능한 정규화 기법을 제공하는 것.

제안 방법

• 내부 은닉 상태를 향후 관측값의 분포로 매핑하는 예측 상태 디코더 헤드를 기존 RNN에 추가한다.
• 동일한 입력 시퀀스를 사용하여 주 RNN와 동일한 미래 관측 시퀀스에 대해 지도 손실을 사용해 디코더를 훈련시킨다.
• 디코더 손실을 주 훈련 목표에 정규화 기법으로 통합하며, 이에 따라 가중치를 조절하는 하이퍼파ram터 λ를 사용한다.
• 관측값을 예측에 적합한 표현으로 매핑하기 위해 featurization 함수 φ(x)를 사용하며, 실험에서는 항등 함수와 2차 특징을 사용한다.
• 핵심 네트워크를 수정하지 않고 다양한 RNN 아키텍처(LSTM, GRU, Basic RNN)와 과제(필터링, 이mitation, RL)에 적용한다.
• 백프로파게이션을 통해 주 과제 손실과 예측 상태 디코더 손실을 동시에 최적화함으로써 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 미래 관측값 예측에 대한 직접적인 감독이 RNN 내부 상태 표현의 품질을 향상시키는가?
• RQ2 예측 상태 감독을 통합함으로써 순차적 모델링 과제에서 더 빠른 수렴과 향상된 최종 성능를 달성하는가?
• RQ3 Psd는 확률적 필터링, 이mitation 학습, 강화 학습 등 다양한 분야에 효과적으로 적용될 수 있는가?
• RQ4 표본 효율성과 분산 감소 측면에서 표준 RNN 훈련 방식과 비교해 Psd는 어떻게 성능을 내는가?
• RQ5 LSTM, GRU, 기본 RNN 유닛을 포함한 다양한 RNN 아키텍처에 대해 이 방법이 일반화되는가?

주요 결과

• 강화 학습에서 Psd는 Walker2d에서 평균 수익을 15.4% 향상시켰고(p < 0.005), Hopper에서는 9.06% 향상되었으며, 최고의 베이스라인을 초월한 모델이 전체의 40%에 달했다.
• HalfCheetah에서 Psd는 평균 수익에 대해 상대적으로 13.0% 향상되었고(p < 0.05), 런 간 분산이 감소했다.
• InvertedPendulum 과제에서는 GRU와 LSTM 성능이 각각 20.4%와 22.6% 향상되었으며, 분산 감소 효과도 뚜렷했다.
• 2차 특징화(φ(x) = [x, vec(xxᵀ)])를 사용할 경우 InvertedPendulum에서 평균 수익이 4.9% 향상되었고, 분산이 감소했다.
• 기본, GRU, LSTM을 포함한 모든 테스트된 RNN 셀에서 성능 향상이 일관되게 관찰되어 광범위한 적용 가능성을 입증했다.
• 이mitation 학습에서 Psd는 높은 성능에 도달하기 위해 필요한 반복 횟수를 줄여 더 빠른 수렴을 나타냈다.