[논문 리뷰] Conditional Flow Variational Autoencoders for Structured Sequence Prediction

Apratim Bhattacharyya, Michael Hanselmann외 3명|arXiv (Cornell University)|2019. 08. 24.

Anomaly Detection Techniques and Applications참고 문헌 54인용 수 12

한 줄 요약

이 논문은 구조적 시퀀스 예측에서 복잡한 다중 모달 조건부 분포를 모델링하기 위해 조건부 정규화 흐름을 사전으로 사용하는 새로운 방법인 조건부 플로 비모수적 오토인코더(CF-VAE)를 제안한다. 사후 정규화와 조건 정규화를 통합함으로써 학습을 안정화시키고 사후 붕괴를 완화하며, MNIST, Stanford Drone, HighD 데이터셋에서 여러 지표에서 최신 기준 성능을 달성한다.

ABSTRACT

Prediction of future states of the environment and interacting agents is a key competence required for autonomous agents to operate successfully in the real world. Prior work for structured sequence prediction based on latent variable models imposes a uni-modal standard Gaussian prior on the latent variables. This induces a strong model bias which makes it challenging to fully capture the multi-modality of the distribution of the future states. In this work, we introduce Conditional Flow Variational Autoencoders (CF-VAE) using our novel conditional normalizing flow based prior to capture complex multi-modal conditional distributions for effective structured sequence prediction. Moreover, we propose two novel regularization schemes which stabilizes training and deals with posterior collapse for stable training and better fit to the target data distribution. Our experiments on three multi-modal structured sequence prediction datasets -- MNIST Sequences, Stanford Drone and HighD -- show that the proposed method obtains state of art results across different evaluation metrics.

연구 동기 및 목표

• 표준 CVAE가 단일 모달 정규분포 사전을 사용하여 다중 모달 시퀀스 예측에서 모델 편향과 사후 붕괴 문제를 겪는다는 점을 해결하기 위해.
• 구조적 시퀀스 생성에서 복잡하고 데이터에 의존하는 조건부 분포를 포괄할 수 있는 더 표현력 있는 사전을 개발하기 위해.
• 새로운 정규화 기법을 통해 학습을 안정화하고 진짜 데이터 분포에 더 잘 맞추기 위해.
• 궤도 예측 및 필기체 예측을 포함한 다양한 구조적 시퀀스 예측 벤치마크에서 최신 기준 성능을 입증하기 위해.

제안 방법

• 미래 시퀀스에 대한 복잡하고 다중 모달인 조건부 분포를 모델링할 수 있는 유연하고 학습 가능한 사전으로 조건부 정규화 흐름을 제안한다.
• 가장 기본적인 분포에서 복잡한 조건부 사전 분포로 변환하기 위해 가역적이고 미분 가능한 신경망을 사용하는 플로 기반 변환을 구현한다.
• 변분 하한 최적화의 안정성을 높이고 진짜 데이터 분포와의 일치도를 향상시키기 위해 사후 정규화(pR)를 도입한다.
• 학습 중에 여분의 조건부 신호를 제거함으로써 사후 붕괴를 방지하기 위해 조건 정규화(cR)를 제안한다.
• 입력에서 잠재 코드로 매핑하는 조건부 추론 네트워크를 사용하며, 플로 사전은 입력 컨텍스트에 조건을 받는다.
• 정규화 흐름과 변분 추론을 조합하여 구조적 시퀀스 생성에서 정확한 가능도 추정과 효율적인 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 조건부 정규화 흐름 사전이 구조적 시퀀스 예측 작업에서 복잡하고 다중 모달인 조건부 분포를 효과적으로 모델링할 수 있는가?
• RQ2 고변동성과 다중 모달인 미래 시퀀스를 모델링할 때 CVAE에서 발생하는 사후 붕괴 문제는 어떻게 완화할 수 있는가?
• RQ3 사후 정규화가 복잡한 사전을 가진 조건부 VAE에서 학습 안정성과 일반화 능력을 향상시키는가?
• RQ4 조건 정규화가 조건부 신호에 과도하게 의존하는 것을 방지함으로써 모델 성능을 향상시킬 수 있는가?
• RQ5 제안된 CF-VAE는 다양한 구조적 시퀀스 예측 벤치마크에서 최신 기준 성능을 달성하는가?

주요 결과

• MNIST Sequences 데이터셋에서, 사후 정규화와 조건 정규화를 적용한 CF-VAE는 이전 최고 성능 대비 최소 평균 이동 오차(mADE) 기준 20% 향상된 성능을 기록했다.
• Stanford Drone 데이터셋에서, CF-VAE는 MoG-CVAE와 BMS-CVAE를 포함한 모든 베이스라인을 앞서며, mADE와 mFDE 지표에서 각각 20% 향상된 성능을 보였다.
• HighD 데이터셋에서, pR와 cR 정규화를 모두 적용한 CF-VAE는 mADE 0.29와 mFDE 0.55를 기록했으며, CVAE 기준선(mADE: 0.38, mFDE: 0.80)과 결정론적 기준선을 크게 앞서는 성능을 보였다.
• 컨텍스트 정보를 컨볼루션 사회 풀링 네트워크를 통해 추가함으로써 HighD에서의 성능이 더욱 향상되었으며, 이는 실세계 상황에서 조건부 플로 사전의 효과성을 입증한다.
• 정성적 결과에서는 CF-VAE가 날카로운 전환을 포함한 복잡한 궤적을 갖는 다양한 세부 예측을 생성하는 반면, 표준 CVAE는 제한적이고 덜 다양성 있는 출력을 생성함을 확인할 수 있었다.
• 제거 실험 결과, pR와 cR 모두 필수적임을 확인할 수 있었으며, 둘 중 하나를 제거하면 성능 저하가 발생했고, 특히 저모달 지배 상황에서 cR이 사후 붕괴를 효과적으로 방지하는 데 기여함을 입증했다.