[논문 리뷰] GP-select: Accelerating EM using adaptive subspace preselection

Jacquelyn A. Shelton, Jan Gasthaus외 3명|arXiv (Cornell University)|2014. 12. 10.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 7

한 줄 요약

이 논문은 생성 모델에서 기대치 최대화(EM)를 가속화하기 위해 비모수적 방법인 GP-select를 제안한다. 이 방법은 가우시안 프로세스 회귀를 통해 데이터로부터 적응적으로 선택 함수를 학습하여 관련 잠재 변수를 식별한다. 기존의 수작업으로 설계된 함수가 필요한 방법들과 달리, GP-select는 데이터로부터 학습하며 복잡한 음영 모델에서 정확도를 유지하면서도 계산 시간을 98.8% 감소시켜(22.1초 대비 1830.9초) 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a nonparametric procedure to achieve fast inference in generative graphical models when the number of latent states is very large. The approach is based on iterative latent variable preselection, where we alternate between learning a 'selection function' to reveal the relevant latent variables, and use this to obtain a compact approximation of the posterior distribution for EM; this can make inference possible where the number of possible latent states is e.g. exponential in the number of latent variables, whereas an exact approach would be computationally unfeasible. We learn the selection function entirely from the observed data and current EM state via Gaussian process regression. This is by contrast with earlier approaches, where selection functions were manually-designed for each problem setting. We show that our approach performs as well as these bespoke selection functions on a wide variety of inference problems: in particular, for the challenging case of a hierarchical model for object localization with occlusion, we achieve results that match a customized state-of-the-art selection method, at a far lower computational cost.

연구 동기 및 목표

• 지수적으로 큰 잠재 상태 공간을 가진 모델에서 EM의 계산 비용이 지나치게 높아지는 문제를 해결하기 위해.
• EM 가속화를 위한 기대치 절단(ET)에서 전문가가 수작업으로 설계한 문제 특화 선택 함수가 필요 없도록 하기 위해.
• 가우시안 프로세스 회귀를 사용해 데이터로부터 선택 함수를 학습하는 일반 목적의 비모수적 방법을 개발하기 위해.
• 수작업으로 선택 함수를 설계하기 어려운 복잡한 모델—특히 음영이 있는 계층적 모델—에서도 효율적인 추론을 가능하게 하기 위해.
• 비특화된 선택 함수와 비교해도 유사한 성능을 달성하면서도 계산 비용을 크게 줄이는 것.

제안 방법

• 이 방법은 관측된 데이터에서 관련 잠재 변수 상태로 매핑하는 비모수적 선택 함수를 가우시안 프로세스 회귀를 통해 학습한다.
• 선택 함수는 현재 모델 파라미터와 관측된 데이터를 기반으로 EM 반복 과정에서 적응적으로 업데이트된다.
• 선택 함수는 E단계에서 사후 확률이 높은 잠재 상태에만 집중하도록 이끌어 계산 부담을 줄인다.
• 가우시안 프로세스 회귀는 효율적인 한 번에 학습과 빠른 재학습을 가능하게 하여 변화하는 목표를 위한 적응적 학습을 지원한다.
• 이 방법은 모델에 특화된 엔지니어링 없이도 적용 가능한 블랙박스 메타알고리즘으로 구현된다.
• 커널 하이퍼파rameter는 주기적으로(예: 5개의 EM 단계마다) 업데이트되거나, 완전하지 않은 콜레스키 분해를 통해 계산 비용을 줄인다.

실험 결과

연구 질문

• RQ1 데이터 기반의 비모수적 방법이 EM 추론에서 수작업으로 설계된 문제 특화 선택 함수의 성능을 근사할 수 있는가?
• RQ2 가우시안 프로세스를 통한 선택 함수의 적응적 학습이 큰 잠재 상태 공간을 가진 복잡한 모델에서 상당한 계산 가속화를 가능하게 하는가?
• RQ3 GP-select는 정확도를 유지하면서도 정확한 EM 또는 수작업으로 설계된 선택 함수에 비해 계산 시간을 극적으로 줄일 수 있는가?
• RQ4 비선형 GP 회귀의 유연성이 희박 코딩 및 계층적 모델에서 복잡한 사후 분포를 모델링하는 데 필수적인가?
• RQ5 선택 함수를 충분히 효율적으로 학습시킬 수 있는가로 인해 대규모 고차원 잠재 변수 모델에서 EM의 확장성이 가능해지는가?

주요 결과

• GP-select는 계층적 음영 모델에서 원래의 수작업으로 설계된 선택 함수와 구분할 수 없을 정도의 추론 정확도를 확보했으며, 가짜 로그우도 비교를 통해 확인되었다.
• 단일 CPU 코어에서 추론 시간을 1830.9초에서 22.1초로 단축시켜 계산량을 98.8% 감소시켰다.
• 완전하지 않은 콜레스키 분해나 5회 반복마다 하이퍼파rameter를 업데이트하는 등의 근사 기법을 사용하더라도 정확도는 유지되었고, 추가로 속도 향상이 이루어졌다.
• 스파이크-앤드-슬래브 모델에서 비선형 GP 회귀는 선형 회귀가 유연성 부족으로 실패한 바, 사후 분포의 복잡한 형태를 모델링하는 데 필수적이었다.
• 이 방법은 이전에 수작업 엔지니어링이 필수적이었던 복잡한 계층적 모델(음영이 있는 물체 위치 추정)에서 효율적인 추론을 가능하게 했다.
• 선택 함수 학습의 계산 비용은 관리 가능했으며, 효율적인 근사 기법을 사용해 하이퍼파rameter 업데이트에 194~390초가 소요되었다.