[논문 리뷰] Gaussian Process Regression for Binned Data

Michael Thomas Smith, Álvarez외 1명|arXiv (Cornell University)|2018. 09. 06.

Gaussian Processes and Bayesian Inference참고 문헌 2인용 수 4

한 줄 요약

이 논문은 상자형 영역과 점 사이의 공분산을 계산하는 분석적 적분 커널을 유도하여, 바구니 데이터에 대한 원칙적인 가우시안 프로세스 회귀 방법을 제안한다. 이는 바구니 요약치로부터 정확한 확률적 예측을 가능하게 하며, 특히 적은 수의 바구니를 사용할 경우 중심점 기반 보간법보다 뛰어난 성능을 보이며, 직사각형 근사화를 통해 비정규 다면체로의 확장을 가능하게 하여 재구성 정확도를 향상시키고, 차별적 프라이버시 및 적분 예측 응용을 가능하게 한다.

ABSTRACT

Many datasets are in the form of tables of binned data. Performing regression on these data usually involves either reading off bin heights, ignoring data from neighbouring bins or interpolating between bins thus over or underestimating the true bin integrals. In this paper we propose an elegant method for performing Gaussian Process (GP) regression given such binned data, allowing one to make probabilistic predictions of the latent function which produced the binned data. We look at several applications. First, for differentially private regression; second, to make predictions over other integrals; and third when the input regions are irregularly shaped collections of polytopes. In summary, our method provides an effective way of analysing binned data such that one can use more information from the histogram representation, and thus reconstruct a more useful and precise density for making predictions.

연구 동기 및 목표

• 표준 바구니 데이터 회귀의 한계를 해결하기 위해, 이는 종종 이웃한 바구니 정보를 忽略하거나 보간을 통해 바구니 적분을 왜곡하기 때문이다.
• 잠재 함수 재구성에 더 정확한 결과를 얻기 위해 전체 히스토그램 정보를 활용하는 원칙적인 확률적 방법을 개발하기 위해이다.
• 시민 조사 지역과 같은 비직육면체 입력 영역으로의 가우시안 프로세스 회귀 확장을 위해이다.
• 원시 마이크로데이터가 필요 없이 바구니 데이터에 직접 작용함으로써, 차별적 프라이버시 회귀를 가능하게 하기 위해이다.
• 예를 들어 연령대 수치와 같은 임의의 영역에 대한 적분 예측을 지원하기 위해 바구니 요약치를 사용하기 위해이다.

제안 방법

• 잠재 함수의 영역에 대한 적분 기대값을 바탕으로, 상자형 통합 영역과 점 사이의 공분산을 계산하는 분석적 적분 커널을 유도한다.
• 가우시안 프로세스의 다변량 정규분포 성질을 이용하여 점 값과 영역 적분의 결합 분포를 계산한다.
• 바구니 요약치를 알려진 적분으로 간주하여 잠재 함수에 대한 사후 추론을 가능하게 하기 위해 바구니 데이터에 이 방법을 적용한다.
• 비직육면체 영역의 경우, 복잡한 다면체를 초직사각형 집합으로 근사하고, 적분 커널을 통해 공분산을 계산한다.
• 기준선으로 Kyriakidis(2004)의 영향을 받은 점 기반 근사 방법을 적용한 후, 오차를 줄이기 위해 점을 직사각형으로 교체하여 개선한다.
• Riihimäki와 Vehtari(2010)의 방법을 통합하여 비음성 제약 조건을 도입하여, 수량 또는 밀도 데이터를 모델링할 때 물리적으로 의미 있는 예측을 보장한다.

실험 결과

연구 질문

• RQ1 바구니의 적분 제약 조건을 존중하면서, 바구니 평균을 점 관측치로 간주하지 않고, 바구니 데이터에 효과적으로 가우시안 프로세스 회귀를 적용할 수 있는가?
• RQ2 잠재 함수에 급격한 피크나 골이 있는 경우, 제안된 적분 커널 방법이 중심점 보간법 대비 예측 정확도에서 어떻게 성능을 내는가?
• RQ3 시민 조사 지역과 같은 비정형 영역으로의 방법 확장을 가능하게 하며, 정확도와 계산 비용 사이의 최적 균형을 이루는 근사 전략은 무엇인가?
• RQ4 원시 데이터가 없고 오직 바구니 요약치만 공개되는 차별적 프라이버시 환경에서 이 방법은 어떻게 성능을 내는가?
• RQ5 비직사각형 영역에 대해 직사각형 대비 점 기반 근사 방법을 사용할 경우 오차와 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• 적분 커널 방법은 바구니 수가 적을수록 중심점 기반 보간법보다 뚜렷하게 뛰어나며, 이는 바구니 적분 제약 조건을 더 잘 반영하기 때문이다.
• 시민 기반 연령-신장 데이터셋에서, 이 방법은 중년 20대 후반 신장 피크를 정확히 포착하지만, 중심점 방법은 바구니 경계와의 불일치로 인해 이를 과소평가한다.
• 2차원 다각형의 경우, 적분 커널을 사용한 직사각형 근사화는 점 기반 근사 대비 공분산 추정의 평균 절대 오차(MAE)를 최대 60%까지 감소시켰다.
• 4차원 초구 실험에서, 동일한 근사 요소 수를 사용할 경우 직사각형 근사화는 점 기반 방법의 MAE(50.0)의 절반인 25.1에 도달했다.
• 이 방법은 예를 들어 청년 인구 수와 같은 영역에 대한 적분 예측을 정확하게 가능하게 하며, 중심점 방법은 좁은 연령대의 인구를 과소평가하는 데 실패한다.
• Riihimäki와 Vehtari(2010)의 방법을 통한 비음성 제약 조건 통합은 사후 및 초모수 추정치에 영향을 주었지만, 테스트된 예시에서는 더 단순한 가우시안 우도 모델이 略적으로 더 우수한 성능을 보였다.