[논문 리뷰] Expected Information Maximization: Using the I-Projection for Mixture Density Estimation

Philipp Becker, Oleg Arenz외 1명|arXiv (Cornell University)|2020. 01. 23.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 데이터 샘플만을 사용하여 혼합 모델 위에 데이터 분포의 I-프로젝션을 계산하는 데 위한 새로운 알고리즘인 기대 정보 최대화(Expected Information Maximization, EIM)를 소개한다. 변분 상한과 디스crimิน레이터 기반의 밀도 비율 추정기(예: GAN의 구조 유사)를 활용함으로써 EIM은 최대우도 추정(M-projection)의 모드 평균화 문제를 피하여 다중모달 데이터에 대해 더 정확한 모델링을 가능하게 한다. 이는 EM 및 GAN 기반 방법에 비해 보행자 및 교통 예측 작업에서 뛰어난 성능을 보여줌으로써 입증되었다.

ABSTRACT

Modelling highly multi-modal data is a challenging problem in machine learning. Most algorithms are based on maximizing the likelihood, which corresponds to the M(oment)-projection of the data distribution to the model distribution. The M-projection forces the model to average over modes it cannot represent. In contrast, the I(information)-projection ignores such modes in the data and concentrates on the modes the model can represent. Such behavior is appealing whenever we deal with highly multi-modal data where modelling single modes correctly is more important than covering all the modes. Despite this advantage, the I-projection is rarely used in practice due to the lack of algorithms that can efficiently optimize it based on data. In this work, we present a new algorithm called Expected Information Maximization (EIM) for computing the I-projection solely based on samples for general latent variable models, where we focus on Gaussian mixtures models and Gaussian mixtures of experts. Our approach applies a variational upper bound to the I-projection objective which decomposes the original objective into single objectives for each mixture component as well as for the coefficients, allowing an efficient optimization. Similar to GANs, our approach employs discriminators but uses a more stable optimization procedure, using a tight upper bound. We show that our algorithm is much more effective in computing the I-projection than recent GAN approaches and we illustrate the effectiveness of our approach for modelling multi-modal behavior on two pedestrian and traffic prediction datasets.

연구 동기 및 목표

• 최대우도 추정이 다중모달 밀도 모델링에서 불완전한 모드를 평균화하는 데서 비롯하는 한계를 해결하기 위해.
• 모델이 표현할 수 있는 모드에 집중하고 다른 모드는 忽시하는 I-프로젝션을 계산하기 위한 실용적인 알고리즘을 개발하기 위해.
• 명시적인 밀도 형태가 없이도 데이터 샘플만으로 일반 잠재변수 모델에서 효과적인 I-프로젝션 추정을 가능하게 하기 위해.
• 로봇 및 자율주행 시스템에서의 복잡한 다중모달 행동(예: 보행자 및 교통 예측)을 향상시키기 위해.
• I-프로젝션 최적화를 위한 안정적인 샘플 기반 GAN 대체 방법을 제공함으로써 수렴성과 샘플 품질을 향상시키기 위해.

제안 방법

• I-프로젝션 목적함수에 대한 변분 상한을 제안하여, 이를 구성요소별 최적화 및 계수별 최적화 목적함수로 분해한다.
• 이진 교차엔트로피로 훈련된 디스crimิน레이터를 사용하여 밀도 비율 q(x)/p(x)를 추정함으로써 샘플 기반의 I-프로젝션 계산을 가능하게 한다.
• 컴ponent가 딥 네URAL 네트워크로 파arameter화된 가우시안 혼합 모델(GMM)과 조건부 GMM of Experts에 I-프로젝션을 적용한다.
• 안정적인 최적화를 가능하게 하는 날카운 상한을 도입하였으며, EM과 유사한 구조를 갖지만 M-projection이 아닌 I-projection을 위해 특화되어 있다.
• 모델의 현실성과 일반화 능력을 향상시키기 위해 추가적인 구분 특징(예: 도로 마스크)을 적용한다.
• 확률적 경사하강법을 사용하여 상한을 최적화하며, 디스crim인레이터가 모델 개선을 위한 기울기 신호를 제공한다.

실험 결과

연구 질문

• RQ1 명시적인 밀도 형태가 없이도 데이터 샘플만으로 I-프로젝션을 효과적으로 계산할 수 있는가?
• RQ2 I-프로젝션 기반 학습이 다중모달 행동 모델링에서 최대우도 추정(M-projection)에 비해 어떻게 다른가?
• RQ3 GAN 유사한 디스crim인레이터 기반 접근법을 I-프로젝션 최적화에 대해 안정적이고 효과적으로 적용할 수 있는가?
• RQ4 EIM이 실제 데이터셋에서 GAN 및 EM보다 더 현실적이고 다중모달 밀도 추정을 잘 학습하는가?
• RQ5 추가적인 특징(예: 공간 마스크)이 I-프로젝션 모델이 생성하는 샘플의 현실성을 향상시킬 수 있는가?

주요 결과

• EIM은 테스트 로그우도에서 EM보다 Stanford Drone Dataset 및 Next Generation Simulation(NGS) 데이터셋에서 유의미하게 높은 성능을 기록하였으며, 이는 다른 목적함수를 최적화함에도 불구하고 성립한다.
• NGS 데이터셋에서 EIM은 마스크 위반 평가에서 EM을 능가하여 도로 외부로 나가는 샘플 수를 줄였으며, 이는 더 높은 현실성의 결과를 의미한다.
• SDD 데이터셋에서 EIM은 추가적인 마스크 특징을 적용한 경우 EM보다 현실성 평가에서 뛰어난 성능을 보였으며, 사전 지식을 통합함으로써의 이점이 입증되었다.
• EIM은 컴포넌트 수가 적은 상황에서도 장애물 회피 작업에서 여러 모드를 성공적으로 식별하고 모델링할 수 있었고, 반면 EM은 모든 모드를 포착하지 못했다.
• EIM은 모드 평균화 문제를 피하여 EM이 평균화된 충돌 가능 경로를 생성하는 것과 달리, 더 높은 품질의 경로를 생성함으로써 장애물을 피하는 경로를 잘 모델링한다.
• 엄밀한 변분 상한의 사용은 안정적인 최적화를 가능하게 하여, 최근의 GAN 기반 접근법보다 EIM이 I-프로젝션에 더 효과적임을 입증한다.