[논문 리뷰] Prediction Under Uncertainty with Error-Encoding Networks

Mikael Henaff, Junbo Zhao외 1명|arXiv (Cornell University)|2017. 11. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 14

한 줄 요약

이 논문은 미래 상태의 예측 가능하고 예측 불가능한 성분을 분리하는 새로운 프레임워크인 오차 인코딩 네트워크(Error-Encoding Networks, EEN)를 제안한다. 예측 오차를 저차원 잠재 공간에 인코딩하여, 적대적 훈련이나 복잡한 최적화 없이 다양한 고품질의 영상 생성을 가능하게 하며, 불확실성 하에서 기존의 기준선들보다 일관되게 뛰어난 다중모달 예측 성능을 보인다.

ABSTRACT

In this work we introduce a new framework for performing temporal predictions in the presence of uncertainty. It is based on a simple idea of disentangling components of the future state which are predictable from those which are inherently unpredictable, and encoding the unpredictable components into a low-dimensional latent variable which is fed into a forward model. Our method uses a supervised training objective which is fast and easy to train. We evaluate it in the context of video prediction on multiple datasets and show that it is able to consistently generate diverse predictions without the need for alternating minimization over a latent space or adversarial training.

연구 동기 및 목표

• 영상 생성과 같은 시계열에서 표준 L1/L2 손실이 평균화된, 다중모달이 아닌 예측을 생성하는 문제를 해결하기 위해, 시간에 따른 다중모달 예측 문제에 도전한다.
• 적대적 훈련과 교대 최소화가 복잡하고 불안정한 점을 고려해, GAN 기반 접근법에서 발생하는 모드 붕괴 문제를 해결한다.
• 예측 오차의 학습된 잠재 표현을 사용해 결정론적 예측과 확률적 불확실성을 분리하는 단순한 엔드 투 엔드 훈련 가능한 프레임워크를 개발한다.
• 예측 불확실성 성분을 저차원 잠재 변수에 인코딩하여 미래 프레임의 다중모달 예측을 조건화함으로써 다양한 고해상도 영상 생성을 가능하게 한다.
• 영상 외의 연속형 시계열에 적용 가능한 확장 가능한, 추론 효율적인 방법을 제공하며, 훈련이 빠르고, 전개된 또는 역전파된 판별자 없이도 가능하다.

제안 방법

• 미래 상태를 현재 상태에서 예측한 결정론적 성분과 내재된 불확실성을 나타내는 잔차 오차 성분으로 분해한다.
• 예측 오차(실제값 - 결정론적 예측값)를 저차원 잠재 벡터로 매핑하기 위해 별도의 인코더 네트워크를 훈련시킨다.
• 잠재 벡터를 향후 프레임의 정밀화된 다중모달 예측을 생성하는 전방 모델의 조건부 입력으로 사용한다.
• 최종 예측에 표준 지도 학습 손실(L2 또는 L1 등)을 사용해 전체 모델을 엔드 투 엔드로 훈련시켜, 빠르고 안정적인 최적화를 가능하게 한다.
• 추론 시기에 여러 개의 잠재 벡터를 샘플링하여 다양한 예측을 생성하며, 각 샘플은 미래 상태의 다른 모드에 해당한다.
• 잠재 변수가 입력과 실제값의 미분 가능한 함수임을 활용하여, 교대 단계 없이 기울기 기반 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 적대적 훈련이나 복잡한 최적화 절차에 의존하지 않고도 단순한 비적대적 프레임워크가 다중모달 영상 예측을 다양하게 생성할 수 있는가?
• RQ2 학습된 예측 오차의 잠재 표현이 미래 시계열 상태의 다중모달 성격을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 제안된 방법이 다양한 영상 도메인에서 다중모달이고 고품질인 예측을 생성할 때 표준 결정론적 모델과 GAN 기반 접근법보다 뛰어난 성능을 보이는가?
• RQ4 잠재 변수의 샘플링 수가 증가할수록 모델 성능이 얼마나 향상되는가? 이는 다수의 모드를 커버하는가를 나타낸다.
• RQ5 이 프레임워크는 영상 외의 연속형 시계열, 특히 내재된 불확실성이 존재하는 분야로 일반화될 수 있는가?

주요 결과

• EEN 모델은 플래피 버드, 로봇 조작, 시뮬레이션 주행 등 다양한 데이터셋에서 모드 붕괴 없이 일관된 다중모달 영상 예측을 달성한다.
• 정량적 결과에서 EEN의 최고 PSNR 점수는 생성된 샘플 수가 증가할수록 증가함을 보여, 데이터 분포 내 다수의 모드를 효과적으로 커버하고 있음을 시사한다.
• 반면 GAN 기반 모델은 더 많은 샘플을 생성해도 PSNR 향상이 없어, 모드 붕괴와 잠재 변수의 제한된 활용을 확인한다.
• 모델 성능은 다양한 영상 작업에서 뛰어나며, 플래피 버드의 다양한 파이프 높이와 주행 영상에서의 다양한 조향 효과 등 다양한 예측을 생성한다.
• 미래 데이터에서 잠재 변수를 추출하기 위해 단일 전방 전파만으로도 빠른 추론이 가능하므로, 계획 및 이mitation 학습에 적합하다.
• 표준 지도 학습 손실을 사용해 엔드 투 엔드 훈련이 가능하며, 적대적 훈련이나 전개된 판별자의 복잡성과 불안정성 문제를 피한다.