[논문 리뷰] Variational Temporal Abstraction

Taesup Kim, Sungjin Ahn외 1명|arXiv (Cornell University)|2019. 10. 02.

Advanced Image and Video Retrieval Techniques인용 수 24

한 줄 요약

이 논문은 순차 데이터 내 잠재적인 시간적 구조를 발견하고 에이전트 학습에서 효율적인 점프형 상상(imagination)을 가능하게 하는 확률적 계층적 순환 상태공간 모델인 변분 시간 추상화(Variational Temporal Abstraction, VTA)를 제안한다. 부분수열의 수와 길이를 잠재 변수로 간주하고 변분 추론을 사용함으로써, VTA는 해석 가능한 계층적 상태 전이를 학습하며, 기준 모델 대비 3D 탐색 작업에서 샘플 효율성을 크게 향상시킨다.

ABSTRACT

We introduce a variational approach to learning and inference of temporally hierarchical structure and representation for sequential data. We propose the Variational Temporal Abstraction (VTA), a hierarchical recurrent state space model that can infer the latent temporal structure and thus perform the stochastic state transition hierarchically. We also propose to apply this model to implement the jumpy-imagination ability in imagination-augmented agent-learning in order to improve the efficiency of the imagination. In experiments, we demonstrate that our proposed method can model 2D and 3D visual sequence datasets with interpretable temporal structure discovery and that its application to jumpy imagination enables more efficient agent-learning in a 3D navigation task.

연구 동기 및 목표

• 계층적 시간 추상화를 통해 미래 계획을 효율적으로 수행할 수 있도록 강화학습의 샘플 효율성 문제를 해결하기 위해.
• 사전 지도 없이 순차 데이터 내 해석 가능한 잠재적인 시간적 구조(예: 부분수열)를 탐지하기 위해.
• 순차 데이터의 장기적 의존성을 포착하는 확률적이고 계층적인 상태 전이를 모델링하기 위해.
• 모델을 상상 능력 강화된 에이전트에 적용하여 3D 탐색 작업에서의 계획 효율성을 향상시키기 위해.
• 이질적인 사후 분포에 대한 변분 추론 프레임워크를 개발하여 이산적인 잠재적인 시간적 구조에 대해 처리 가능하도록 하기 위해.

제안 방법

• 부분수열의 수 N과 길이 L을 이산 잠재 변수로 정의하는 계층적 순환 상태공간 모델(Hierarchical Recurrent State Space Model, HRSSM)을 제안한다.
• 각 시간 단계에서 시간 추상화(z_i)에 대한 RNN과 관측 추상화(s_j^i)에 대한 RNN을 사용하여 계층적 상태 전이를 모델링한다.
• 이산 잠재 변수를 연속적이고 미분 가능한 변수로 재구성하기 위해 이진 부분수열 지시자(binary subsequence indicator)를 도입하여 엔드 투 엔드 학습을 가능하게 한다.
• 이질적인 사후 분포를 근사하기 위해 암시적 추론 네트워크를 사용한 변분 추론을 적용하여, 확률적 최적화를 가능하게 한다.
• 계층적 생성 과정을 사용한다: z_i는 이전 z_{i-1}에 조건화된 RNN을 통해 전이되고, s_j^i는 z_i와 이전 s_{j-1}^i에 조건화된 RNN을 통해 전이된다.
• 목표 지향적 탐색 작업에서 에이전트가 다단계 상태 전이를 추상화하여 사용함으로써 샘플 효율성을 향상시키기 위해, 모델을 점프형 상상 모듈로 적용한다.

실험 결과

연구 질문

• RQ1 확률적이고 계층적인 순차 모델은 사전 지도 없이 순차 데이터 내 해석 가능한 시간적 구조를 탐지할 수 있는가?
• RQ2 변분 추론은 부분수열의 수와 길이를 나타내는 이산 잠재 변수를 다룰 수 있도록 어떻게 적응시킬 수 있는가?
• RQ3 계층적 시간 추상화는 모델 기반 강화학습에서 미래 상상의 효율성을 향상시킬 수 있는가?
• RQ4 제안된 HRSSM은 3D 탐색 작업에서 표준 RSSM보다 샘플 효율성이 뛰어나게 성능을 높일 수 있는가?
• RQ5 시간 추상화는 계획 도중 궤적 롤아웃에서 계산 비용을 어느 정도 감소시킬 수 있는가?

주요 결과

• HRSSM은 2D 튀는 공과 3D 미로 탐색 데이터셋에서 해석 가능한 시간적 구조를 성공적으로 탐지하였으며, 의미 있는 부분수열 분할에 대한 정성적 증거를 확보하였다.
• 목표 지향적 3D 탐색 작업에서 HRSSM은 RSSM 대비 유의미하게 높은 샘플 효율성을 확보하였으며, 동일한 계산 예산 내에서 대부분의 에피소드를 50단계 이내에 해결하였다.
• HRSSM은 다양한 상상 궤적 길이에 걸쳐 일관된 성능을 유지하였고, RSSM은 부분 수열의 조합 폭발로 긴 시퀀스에서 성능이 저하되는 경향을 보였다.
• 모델의 점프형 상상 능력은 다수의 시간 단계를 단일 상태 전이로 추상화함으로써 계획 복잡성을 감소시키고, 효과적인 계획 수단을 제공하였다.
• 이진 부분수열 지시자와 함께 변분 추론을 사용함으로써, 이산적인 잠재 시간적 구조를 가진 모델의 효과적인 학습이 가능해졌다.
• 목표 특징 추출기와 HRSSM을 함께 훈련시킴으로써, 상상된 상태와 목표 상태 간의 일치 정확도가 향상되었고, 이는 계획 성능 향상에 기여하였다.