[논문 리뷰] Nonparametric Bayesian Mixed-effect Model: a Sparse Gaussian Process Approach

Yuyang Wang, Roni Khardon|2012. 11. 28.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 9

한 줄 요약

이 논문은 대규모 데이터셋을 가진 비모수 베이지안 혼합효과 가우시안 프로세스 모델에서 계산 비용을 줄이면서 성능을 유지하기 위해 유도 변수를 사용하는 최초의 희소 변분 추론 방법을 제안한다. Titsias(2009)의 변분 희소 GP 접근법을 그룹화된 혼합효과 모델로 확장함으로써, 시뮬레이션 및 실제 다중작업 학습 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 기준선 및 기존의 희소 GP 방법보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

Multi-task learning models using Gaussian processes (GP) have been developed and successfully applied in various applications. The main difficulty with this approach is the computational cost of inference using the union of examples from all tasks. Therefore sparse solutions, that avoid using the entire data directly and instead use a set of informative "representatives" are desirable. The paper investigates this problem for the grouped mixed-effect GP model where each individual response is given by a fixed-effect, taken from one of a set of unknown groups, plus a random individual effect function that captures variations among individuals. Such models have been widely used in previous work but no sparse solutions have been developed. The paper presents the first sparse solution for such problems, showing how the sparse approximation can be obtained by maximizing a variational lower bound on the marginal likelihood, generalizing ideas from single-task Gaussian processes to handle the mixed-effect model as well as grouping. Experiments using artificial and real data validate the approach showing that it can recover the performance of inference with the full sample, that it outperforms baseline methods, and that it outperforms state of the art sparse solutions for other multi-task GP formulations.

연구 동기 및 목표

• 대규모 데이터셋을 가진 비모수 베이지안 혼합효과 가우시안 프로세스 모델에서 전체 추론의 높은 계산 비용을 해결하기 위해.
• 그룹화된 혼합효과 GP 모델을 위한 최초의 희소 근사 방법을 개발하여 확장 가능한 추론을 가능하게 하기 위해.
• 변분 희소 GP 기법을 공유 고정 효과와 개별 랜덤 효과를 가진 다중작업 학습으로 일반화하기 위해.
• 시뮬레이션 및 실제 데이터셋에서 전체 추론과 기존의 희소 GP 기준선과의 성능을 평가하기 위해.
• 희소 모델이 전체 데이터 추론 성능을 따라잡으면서도 계산 복잡도를 크게 감소시킬 수 있음을 보여주기 위해.

제안 방법

• 전체 GP 사후분포를 근사하기 위해 유도 변수(pseudo-inputs)의 집합을 도입하여 혼합효과 GP 모델에 변분 추론을 적용한다.
• 하이퍼파rameter와 유도 변수의 위치를 동시에 최적화하기 위해 우도의 변분 하한(lower bound)을 사용한다.
• 각 그룹의 고정 효과를 공유된 GP로 모델링하고 개별 편차를 독립된 GP로 모델링함으로써 그룹화된 데이터를 다룰 수 있도록 희소 GP 프레임워크를 확장한다.
• 공동 우도에 대해 변분 근사를 적용하여, 오직 유도 변수만을 사용하여 효율적인 학습과 예측을 가능하게 한다.
• 두 단계 최적화를 적용한다: 먼저 변분 파라미터와 유도 입력을 최적화하고, 그 다음 변분 하한에 대한 기울기 상승을 통해 하이퍼파rameter를 정밀화한다.
• 시간열린 데이터의 경우, 신호를 정렬하기 위해 통용되는 단계와 정규화 전처리 단계를 적용한다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 혼합효과 가우시안 프로세스 모델에 대해 희소 변분 추론 프레임워크를 성공적으로 확장할 수 있는가?
• RQ2 제안된 희소 방법이 다중작업 학습 환경에서 전체 데이터 추론과 비교해 유사한 예측 성능을 달성할 수 있는가?
• RQ3 정확도와 계산 효율성 측면에서 기존의 희소 GP 제안 및 기준선 방법과 비교해 볼 때 성능은 어떠한가?
• RQ4 작업당 표본 수가 적고 공유 입력 포인트가 없는 데이터셋을 효과적으로 처리할 수 있는가?
• RQ5 입력 공간에서 정렬되지 않은 관련 작업들에 대해, 그룹 기반의 구조가 일반화 성능을 향상시키는가?

주요 결과

• 제안된 희소 방법은 시뮬레이션 및 실제 데이터셋에서 전체 데이터 추론 성능과 유사한 예측 성능을 달성하였으며, 유도 변수에 정보를 효과적으로 압축함을 보여주었다.
• 시뮬레이션된 혈당 데이터에서, 제안된 방법은 기준선 희소 GP 방법과 MGP를 크게 능가하였으며, 특히 K=3인 다센터 설정에서 두드러진 성능을 보였다.
• OGLEII 천문학 데이터셋에서, EB(일식 이중성) 클래스에서 모든 기준선을 능가하였으며, 특히 SMSE와 MSLL에서 두드러진 향상을 보였다.
• 빛의 주기 변화가 단순한 Cepheid 및 RRL 항성의 경우, 제안된 방법과 MGP가 유사한 성능을 보였고, 이는 다른 방법들보다 뛰어났다.
• 입력이 작업 간에 공유되지 않더라도 높은 정확도를 유지하여, 희소하고 비균일한 표본 추출 패턴에 대해 강건함을 입증하였다.
• 변분 프레임워크 덕분에 효율적인 학습과 예측이 가능했으며, 계산 복잡도는 O(N^3)에서 O(mN^2)로 감소하였다. 여기서 m ≪ N은 유도 변수의 수이다.