[논문 리뷰] Variational Learning on Aggregate Outputs with Gaussian Processes

Ho Chung Leon Law, Dino Sejdinović외 5명|arXiv (Cornell University)|2018. 05. 22.

Machine Learning and Data Classification인용 수 18

한 줄 요약

이 논문은 집계된 출력을 가진 가우시안 프로세스 모델을 위한 변분 베이지안 추론 프레임워크를 제안하며, 더러운 레이블에서 학습하는 데 있어 모델 증거에 대한 다루기 쉬운 하한을 고려하여 도전 과제를 해결한다. 이는 100만 건 이상의 관측치를 포함한 대규모 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 포isson 분포를 따르는 수치 데이터를 사용한 세밀한 규모의 말라리아 유병률 지ap 맵핑에서 뛰어난 불확실성 측정 및 확장성 또한 입증하였다.

ABSTRACT

While a typical supervised learning framework assumes that the inputs and the outputs are measured at the same levels of granularity, many applications, including global mapping of disease, only have access to outputs at a much coarser level than that of the inputs. Aggregation of outputs makes generalization to new inputs much more difficult. We consider an approach to this problem based on variational learning with a model of output aggregation and Gaussian processes, where aggregation leads to intractability of the standard evidence lower bounds. We propose new bounds and tractable approximations, leading to improved prediction accuracy and scalability to large datasets, while explicitly taking uncertainty into account. We develop a framework which extends to several types of likelihoods, including the Poisson model for aggregated count data. We apply our framework to a challenging and important problem, the fine-scale spatial modelling of malaria incidence, with over 1 million observations.

연구 동기 및 목표

• 입력보다 더 넓은 수준에서 집계된 출력을 가진 경우에 발생하는 지도 학습의 과제를 해결하기 위해, 공간 역학 및 원격 감지 분야에서 흔한 문제에 대응한다.
• 포isson 분포를 따르는 수치 데이터에 중점을 두고, 노출 가족 분포를 사용한 집계된 출력을 통합적으로 모델링하기 위한 프레임워크를 개발한다.
• 집계에 의해 발생하는 복잡성으로 인해 표준 모델 증거 하한이 다루기 어려운 상황에서, 가우시안 프로세스 모델에 대한 스케일러블하고 다루기 쉬운 변분 추론을 가능하게 한다.
• 공공 보건 의사결정에 매우 중요한 불확실성 측정을 예측에 명시적으로 통합한다.
• 실세계의 대규모 데이터셋, 특히 100만 건 이상의 관측치를 포함한 말라리아 유병률 맵핑을 통해 방법의 효과성을 입증한다.

제안 방법

• 집계된 출력을 고려한 새로운 변분 하한을 제안하여, 집계된 출력을 가진 가우시안 프로세스 모델에서 다루기 쉬운 추론을 가능하게 한다.
• 유도점과 잠재 함수 값에 대한 변분 분포를 사용한 스 tochastic variational inference 방법을 도입하여, 대규모 데이터셋에 대한 확장성을 확보한다.
• 잠재 함수의 사후 분포를 다변수 정규분포로 모델링하는 구조화된 변분 근사 방법을 적용하며, 기울기 기반 방법을 통해 평균 및 공분산 매개수를 최적화한다.
• 일반적인 노출 가족 형태의 집계 모델을 통해 가우시안 및 포isson을 포함한 여러 가지 가능도 가족에 프레임워크를 적응시킨다.
• 기울기 추정을 위한 재구성 기법을 사용하고, 집계 가능도의 정확성 향상을 위해 라플라스 근사를 적용한다.
• 입력별 길이 척도를 학습할 수 있도록 ARD 커널을 사용하여 고차원 입력 공간에서의 모델의 유연성과 해석 가능성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 특히 관측되지 않은 개인 수준의 데이터에 대한 통합으로 인해 가능도가 다루기 어려워지는 상황에서, 집계된 출력을 가진 가우시안 프로세스 모델에 대해 변분 추론이 다루기 쉬우며 확장 가능한가?
• RQ2 제안된 변분 하한은 표준 모델 증거 하한에 비해 집계된 데이터에서 예측 정확도와 불확실성 캘리브레이션 측면에서 어떻게 비교되는가?
• RQ3 이 방법은 예측 성능와 불확실성 측정을 유지하면서, 100만 건 이상의 관측치를 포함한 대규모 데이터셋에 얼마나 잘 스케일링되는가?
• RQ4 행정 단위별로 집계된 데이터를 사용하는 실세계의 공간 질병 맵핑 과제, 예를 들어 세밀한 규모의 말라리아 유병률 예측에서 이 프레임워크는 어떻게 성능을 내는가?
• RQ5 명시적으로 캘리브레이션을 최적화하는 목적 함수는 기존의 NLL 기반 목적 함수에 비해 더 나은 불확실성 추정을 이끌어내는가?

주요 결과

• VBAgg-Obj 모델은 스위스롤 데이터셋에서 개별 NLL과 MSE 모두에서 통계적으로 유의미한 차이로 Nyström 및 신경망 기반 베이스라인을 모두 앞선다.
• 에레베이터스 데이터셋에서 VBAgg-Obj는 NLL(-1.71)과 MSE(0.0018)에서 Nyström(NLL: -1.57, MSE: 0.0024) 및 NN(NLL: -1.64, MSE: 0.0021)보다 낮은 값을 기록했으며, 윌콕슨 부호 순위 검정에서 p값이 0.001 이하였다.
• 이 방법은 100만 건 이상의 관측치를 포함한 데이터셋에 효과적으로 스케일링되며, 대규모 공간 모델링에 대한 실용적 타당성을 입증했다.
• VBAgg-Obj는 절대 커버리지 오차가 70–95% 예측 구간에서 0에 가까운 수준으로 더 뛰어난 캘리브레이션 성능을 보였다. 캘리브레이션 플롯을 통해 이를 확인할 수 있었다.
• 이 프레임워크는 더러운 지구단위의 사례 수를 기반으로 세밀한 규모의 말라리아 유병률을 성공적으로 모델링하였으며, 명시적인 불확실성 측정을 통합한 정확한 예측을 달성하였다.
• 가우시안 프로세스 사전분포와 함께 포isson 가능도를 사용함으로써, 공간 역학에서 수치 데이터의 강건한 모델링이 가능해졌으며, 기존 방법들에 비해 예측 정확도와 불확실성 캘리브레이션 측면에서 모두 뛰어난 성능을 보였다.