[논문 리뷰] Automatic monotonicity detection for Gaussian Processes

Eero Siivola, Juho Piironen외 1명|arXiv (Cornell University)|2016. 10. 18.

Gaussian Processes and Bayesian Inference참고 문헌 7인용 수 5

한 줄 요약

이 논문은 가우시안 프로세스 모델에서 가상의 도함수 관측값을 사용하여 단조성 입력-출력 관계를 자동으로 탐지하는 방법을 제안한다. 단조성과 비단조성 가정 하에서의 모델 증거를 비교함으로써, 특히 데이터 경계 근처 및 외삽 시에 높은 정확도로 단조성 방향을 식별한다.

ABSTRACT

We propose a new method for automatically detecting monotonic input-output relationships from data using Gaussian Process (GP) models with virtual derivative observations. Our results on synthetic and real datasets show that the proposed method detects monotonic directions from input spaces with high accuracy. We expect the method to be useful especially for improving explainability of the models and improving the accuracy of regression and classification tasks, especially near the edges of the data or when extrapolating.

연구 동기 및 목표

• 가우시안 프로세스 모델에서 입력 변수와 출력 간의 단조성 관계를 자동으로 탐지할 수 있는 방법을 개발하는 것.
• 특히 데이터가 희소한 영역이나 외삽 시에 모델의 정확도와 해석 가능성을 향상시키는 것.
• 함수 형태에 대한 사전 지식 없이도 데이터 기반으로 단조성을 발견할 수 있도록 하는 것.
• 다양한 입력 차원에 걸쳐 단조성 탐지를 위한 확장 가능한, 모델 비교 기반의 프레임워크를 제공하는 것.

제안 방법

• 가우시안 프로세스 모델에 단조성 제약 조건을 부여하기 위해 가상의 도함수 관측값을 사용한다.
• 모델의 우도를 비교하여 데이터가 단조성을 지지하는지 평가한다.
• 도함수 관측값이 존재하는 상황에서의 근사 추론을 위해 기대값 전파를 적용한다.
• 각 입력 차원에 대해 단조성 제약 조건이 있는 모델과 없는 모델을 비교하는 가설 검정을 수립한다.
• 단조성 탐지 강도를 정의하기 위해 이중 매개변수 임계값 설정 방식(p1, p2)을 사용한다.
• 모델 증거를 사용하여 각 입력 차원에 대해 단조성을 평가하는 방식으로 다차원 데이터로 방법을 확장한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 모델을 사용하여 데이터로부터 입력 변수와 출력 간의 단조성 관계를 자동으로 탐지할 수 있는가?
• RQ2 자동 단조성 탐지가 데이터 경계 근처 또는 외삽 시 예측 정확도를 어떻게 향상시키는가?
• RQ3 모델의 하이퍼파rameter(p1, p2) 변화에 대해 단조성 탐지는 얼마나 강인한가?
• RQ4 실제 고차원 데이터셋에서는 시뮬레이션 기반 벤치마크와 비교해 어떻게 성능을 발휘하는가?
• RQ5 비정규 분포 우도를 사용하는 분류 작업으로 이 방법을 확장할 수 있는가?

주요 결과

• 이 방법은 시뮬레이션 및 실세계 데이터셋 모두에서 단조성 관계를 성공적으로 탐지했으며, 체질량지수(bmi)와 저압성 녹내장(ltg)은 모두 양의 단조성으로 탐지되었다.
• 단조성 탐지로 인해 데이터 가장자리 근처 및 외삽 시에 예측 정확도가 크게 향상되었으며, 이는 데이터 희소성이 모델 신뢰도를 낮추는 영역에서 특히 두드러졌다.
• p1과 p2의 변화에 대해 탐지가 강인했으며, bmi나 ltg처럼 명확한 단조성 변수의 경우 넓은 탐지 범위를 보였고, 비단조성 또는 평탄한 영향을 보이는 변수의 경우 좁은 범위를 보였다.
• 고차원 데이터에서는 사후 분포 변화에 대한 민감도가 감소하여, 사후 분포 이동 폭이 작아지고 p2의 하한값이 높아졌다.
• 시각화만으로는 단조성 경향을 명확히 드러내지 못해, 알고리즘 기반 탐지 방법의 가치가 뚜렷하게 드러났다.
• 합성곱 지수 및 선형 공분산 함수를 사용할 때, M = N/3개의 가상 도함수 관측값을 사용해 강력한 성능을 보였다.