[논문 리뷰] Visual Forecasting by Imitating Dynamics in Natural Sequences

Kuo-Hao Zeng, William Shen외 3명|arXiv (Cornell University)|2017. 08. 19.

Advanced Vision and Imaging참고 문헌 44인용 수 6

한 줄 요약

이 논문은 깊이 있는 특징 재매arametrization과 이중 공식화를 통해 고차원 상태-행동 공간 문제를 해결하면서, 원시 픽셀 데이터로부터 자연스러운 시각적 동역학을 직접 모방하는 역강화학습(IRL)을 사용하여 일반적인 시각 예측 프레임워크를 제안한다. 이 방법은 수작업 특징 또는 도메인 지식 없이도 저수준, 중수준, 고수준 추상화 수준에서 미래 프레임 생성, 행동 예측, 시각적 스토리 예측에서 기존 방법들을 능가한다.

ABSTRACT

We introduce a general framework for visual forecasting, which directly imitates visual sequences without additional supervision. As a result, our model can be applied at several semantic levels and does not require any domain knowledge or handcrafted features. We achieve this by formulating visual forecasting as an inverse reinforcement learning (IRL) problem, and directly imitate the dynamics in natural sequences from their raw pixel values. The key challenge is the high-dimensional and continuous state-action space that prohibits the application of previous IRL algorithms. We address this computational bottleneck by extending recent progress in model-free imitation with trainable deep feature representations, which (1) bypasses the exhaustive state-action pair visits in dynamic programming by using a dual formulation and (2) avoids explicit state sampling at gradient computation using a deep feature reparametrization. This allows us to apply IRL at scale and directly imitate the dynamics in high-dimensional continuous visual sequences from the raw pixel values. We evaluate our approach at three different level-of-abstraction, from low level pixels to higher level semantics: future frame generation, action anticipation, visual story forecasting. At all levels, our approach outperforms existing methods.

연구 동기 및 목표

• 도메인 특화 지식이나 수작업 특징이 필요 없이 다양한 의미 수준에 적용 가능한 일반 목적의 시각 예측 프레임워크를 개발하는 것.
• 비디오 시퀀스에서 고차원 연속적 시각 상태-행동 공간에 전통적 IRL을 적용하는 데 있어 계산적으로 비현실적인 문제를 해결하는 것.
• 직접 픽셀 수준 데이터에서 전문가처럼 행동하는 정책을 학습함으로써 장기적 시각 예측을 가능하게 하는 것.
• 저수준(픽셀), 중수준(운동), 고수준(의미론적) 시각 이해를 아우르는 다양한 작업에서 프레임워크의 효과성을 입증하는 것.

제안 방법

• 자연스러운 비디오 시퀀스를 전문가의 시연로 간주하고, 시각 예측을 역강화학습(IRL) 문제로 공식화한다.
• 동적 프rogramming에서 상태-행동 쌍의 완전한 나열이 필요 없도록 하기 위해 IRL의 이중 공식화를 도입한다.
• 기울기 계산 중 상태 샘플링을 직접 방지하기 위해 깊이 있는 특징 재매arametrization을 활용하여 원시 픽셀에서 엔드 투 엔드 학습을 가능하게 한다.
• 정책 기반 강화학습을 사용하여 정책과 깊이 있는 특징 표현을 동시에 최적화함으로써 예측에 적합한 표현을 학습한다.
• 확장 가능한 시각 영역에서의 IRL을 위해 기울기 가능하고 학습 가능한 특징 인코더를 활용한 생성적 적대적 모방학습(GAIL) 원리를 적용한다.
• 픽셀 수준의 프레임 예측에서 의미론적 스토리 예측에 이르기까지 추상화 수준이 다른 작업들에 동일한 통합 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 원시 픽셀 데이터에서 자연스러운 시각적 동역학을 직접 모방함으로써, 수작업 특징이나 도메인 지식 없이도 시각 예측을 달성할 수 있는가?
• RQ2 비디오 시퀀스에서 고차원 연속적 시각 상태-행동 공간에 대해 역강화학습(IRL)을 어떻게 스케일링할 수 있는가?
• RQ3 단일 통합 프레임워크가 픽셀 수준의 운동에서 의미론적 스토리 진행에 이르기까지 다양한 추상화 수준의 시각적 동역학을 효과적으로 모델링할 수 있는가?
• RQ4 원시 픽셀 시퀀스를 직접 모방하는 것이 재구성 기반 또는 외관 매칭 기반 베이스라인에 비해 장기적 시각 예측 과제에서 더 뛰어난 성능을 내는가?

주요 결과

• VIST 데이터셋에서 단기 및 장기적 시각 스토리 예측 과제에서 LSTM, 딥 레지RESSION 네트워크, 최근접 이웃 기반 모델보다 제안된 방법이 뛰어난 성능을 보였다.
• 외관 유사성에 실패하는 장기 예측 과제에서, 모델는 최근접 이웃 기반 모델보다 유의미하게 높은 정확도를 달성하여 의미론적 동역학을 잘 포착하고 있음을 보여주었다.
• 정성적 결과에서는 모델가 스토리라인에서 의미적으로 일관된 다음 이미지를 성공적으로 예측하는 반면, 시각적 외관이나 재구성 손실에 의존하는 베이스라인은 의미 일반화에서 실패하는 경향을 보였다.
• moving MNIST에서 미래 프레임 생성 과제에서 최신 기술 수준의 성능을 달성하여 저수준 픽셀 수준의 동역학을 효과적으로 모델링하고 있음을 입증했다.
• THUMOS15 및 TV Human Interactions 데이터셋에서의 행동 예측 과제에서, 수작업 특징 없이 운동 수준의 동역학을 학습함으로써 기존 방법들을 능가하는 성능을 보였다.
• 제거 실험 결과, 이중 공식화와 깊이 있는 특징 재매arametrization가 고차원 시각 시퀀스에 대한 IRL 스케일링에 필수적임을 확인했다.