[논문 리뷰] Accurate and Diverse Sampling of Sequences Based on a ``Best of Many'' Sample Objective

Apratim Bhattacharyya, Bernt Schiele외 1명|arXiv (Cornell University)|2018. 01. 01.

Time Series Analysis and Forecasting참고 문헌 26인용 수 26

한 줄 요약

이 논문은 다중 모달 불확실성 하에서 시계열 예측의 정확도와 다양성을 향상시키기 위해 가우시안 잠재변수 모델에 대한 '다수 중 최고'(BMS) 샘플 목적함수를 제안한다. 중요도 샘플링을 통해 공동으로 학습된 제안 분포를 사용함으로써, 훈련과 추론 간의 분포 이탈을 감소시켜 표준 CVAE와 기존 최고 성능(SOTA) 모델을 능가한다. 이는 궤적 예측, MNIST 스트로크 완성, 기상 레이더 예측 작업에서 성능을 향상시킨다.

ABSTRACT

For autonomous agents to successfully operate in the real world, anticipation of future events and states of their environment is a key competence. This problem has been formalized as a sequence extrapolation problem, where a number of observations are used to predict the sequence into the future. Real-world scenarios demand a model of uncertainty of such predictions, as predictions become increasingly uncertain -- in particular on long time horizons. While impressive results have been shown on point estimates, scenarios that induce multi-modal distributions over future sequences remain challenging. Our work addresses these challenges in a Gaussian Latent Variable model for sequence prediction. Our core contribution is a "Best of Many" sample objective that leads to more accurate and more diverse predictions that better capture the true variations in real-world sequence data. Beyond our analysis of improved model fit, our models also empirically outperform prior work on three diverse tasks ranging from traffic scenes to weather data.

연구 동기 및 목표

• 표준 CVAE 목적함수의 다중 모달성과 불확실성이 있는 미래 시계열을 모델링하는 데서 발생하는 한계를 해결하기 위해.
• 조건부 시계열 생성에서 훈련 시와 테스트 시 잠재변수 분포 간의 분포 이탈을 줄이기 위해.
• 본질적으로 불확실성이 내재된 실제 세계 시나리오에서 생성된 시계열의 정확도와 다양성을 향상시키기 위해.
• 복잡하고 다중 모달적인 미래를 가진 전체 프레임 영상 시퀀스에 대해 조건부 생성 모델의 적용 가능성을 넓히기 위해.
• 합성 벤치마크를 초월하는 다양한 실제 세계 시계열 예측 작업에서 방법의 실증적 타당성을 검증하기 위해.

제안 방법

• 훈련 중에 다수의 생성된 시계열 중 가장 높은 점수를 받은 샘플을 선택하는 새로운 '다수 중 최고'(BMS) 샘플 목적함수를 제안한다.
• 직접 사전 분포에서 샘플링을 피하기 위해, 공동으로 학습된 제안 분포를 사용한 중요도 샘플링을 통해 모델 업데이트의 분산을 줄인다.
• 다중 샘플을 통합하고 중요도 가중치를 통해 가중치를 부여함으로써 진짜 데이터 가능도를 더 잘 근사화하기 위해 변분 하한을 수정한다.
• LSTM 또는 Conv-LSTM을 사용한 인코더-디코더 아키텍처를 갖춘 조건부 VAE 프레임워크를 사용하며, 가우시안 잠재변수를 적용한다.
• 연속적인 잠재변수 존재 하에 효율적인 확률적 최적화를 위해 재생산 기법을 도입한다.
• BMS 목적함수를 사용해 모델을 훈련하며, 이는 인식 네트워크가 진짜 데이터 분포와 일치하는 다양하고 높은 가능도의 샘플을 생성하도록 유도한다.

실험 결과

연구 질문

• RQ1 다양한 모달성과 불확실성이 존재하는 환경에서, 수정된 샘플 목적함수가 정확도와 다양성 향상에 기여하는가?
• RQ2 훈련 시와 테스트 시 잠재변수 분포 간의 분포 이탈을 줄이면 조건부 시계열 생성에서 일반화 성능이 향상되는가?
• RQ3 BMS 목적함수는 궤적, 시계열 데이터 등 다양한 실제 세계 시계열 예측 작업에 효과적으로 적용될 수 있는가?
• RQ4 예측 성능와 샘플 품질 측면에서 BMS 목적함수와 표준 CVAE 및 기타 다중 샘플 목적함수 간의 비교 결과는 어떠한가?
• RQ5 복잡하고 다중 모달적인 상황에서 BMS 목적함수는 모델 적합도 향상과 진짜 데이터 분포의 포괄 정도를 어느 정도 향상시키는가?

주요 결과

• BMS 목적함수로 인해 훈련 시와 테스트 시 잠재변수 분포 간의 일치도가 향상되어 분포 이탈이 감소함으로써 모델 적합도가 크게 향상된다.
• Stanford Drone 데이터셋에서 LSTM-BMS 모델은 유클리드 거리(1.84 px)와 CLL 지표(0.45) 모두에서 DESIRE-SI-IT4 및 LSTM-CVAE를 능가하여 더 높은 정확도와 더 나은 가능도 추정을 보였다.
• MNIST 스트로크 완성 작업에서 BMS 모델은 재구성 오차가 낮고, 기존 베이스라인 대비 더 다양하고 타당한 스트로크 완성 결과를 생성하였다.
• HKO 기상 레이더 데이터셋에서 Conv-LSTM-BMS 모델은 이전 연구 대비 더 높은 CLL(1.28), CSI(0.62), POD(0.81) 등의 강우 예측 지표를 확보하였다.
• 정성적 결과 분석에서 BMS 모델의 상위 10퍼센트 샘플은 시나리오 레이아웃과 물리적 타당성에 더 잘 부합하며, 더 정확하고 다양한 결과를 보였다.
• 궤적 예측, 이미지 시퀀스 생성, 기상 예측이라는 세 가지 다양한 작업에서 이 방법은 표준 CVAE와 기존 SOTA 베이스라인 모두를 일관되게 능가하였다.