[논문 리뷰] Local Gaussian Regression

Franziska Meier, Philipp Hennig외 1명|arXiv (Cornell University)|2014. 02. 04.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 3

한 줄 요약

이 논문은 국소적 가우시안 회귀(LGR)를 제안한다. LGR는 국소적으로 가중된 회귀(LWR)의 계산 효율성과 가우시안 프로세스 회귀의 생성 모델링 능력을 결합한 확률적 국소 회귀 방법이다. 국소적 특징 함수와 변분 근사법을 사용함으로써 LGR는 국소 모델 간의 협업 학습을 가능하게 하면서도 계산 복잡도를 선형으로 유지하며, LWR와 믹스처 오브 은사자(ME)보다 정확도와 하이퍼파rameter 조정에 대한 민감도에서 뛰어난 성능을 보인다.

ABSTRACT

Locally weighted regression was created as a nonparametric learning method that is computationally efficient, can learn from very large amounts of data and add data incrementally. An interesting feature of locally weighted regression is that it can work with spatially varying length scales, a beneficial property, for instance, in control problems. However, it does not provide a generative model for function values and requires training and test data to be generated identically, independently. Gaussian (process) regression, on the other hand, provides a fully generative model without significant formal requirements on the distribution of training data, but has much higher computational cost and usually works with one global scale per input dimension. Using a localising function basis and approximate inference techniques, we take Gaussian (process) regression to increasingly localised properties and toward the same computational complexity class as locally weighted regression.

연구 동기 및 목표

• 국소적으로 가중된 회귀(LWR)의 계산 효율성을 유지하면서도 기능 값에 대한 완전한 생성 모델링과 국소 모델 간의 협업 학습을 가능하게 하는 확률적 회귀 모델을 개발하는 것.
• LWR의 하이퍼파rameter 민감도와 생성 구조의 부재 문제를 해결하기 위해 국소 모델을 가우시안 프로세스 프레임워크 내에 통합하는 것.
• 국소 모델 간의 상호작용을 분리함으로써 계산 비용을 줄이고, 국소 모델 수에 대해 선형 복잡도를 달성하기 위해 변분 근사법을 통해 가우시안 프로세스 회귀의 계산 비용을 감소시키는 것.
• 특히 고차원 및 실시간 환경(예: 로봇 제어)에서의 다양한 회귀 과제에 대해 증분 학습과 강인한 성능을 보장하는 것.

제안 방법

• 공간적 국소화를 표현하기 위해 일반선형 회귀 프레임워크 내에서 국소적 특징 함수—특히 반경 기반 함수(rbf)를 사용하여 국소 모델을 표현한다.
• 가우시안 프로세스 회귀를 국소적 특징 함수를 갖는 확률적 모델로 재구성함으로써 기능 값에 대한 완전한 생성 모델을 가능하게 한다.
• 공간적 국소화로 인해 국소 모델이 약간의 독립성을 가진다고 가정하는 변분 추론 근사법을 적용하여, 국소 모델 수에 대해 추론 비용을 세제곱에서 선형으로 감소시킨다.
• 최대우도추정법을 사용하여 모델 파라미터(길이 척도 및 정규화)를 학습하며, 모델 복잡도와 희박성 제어를 위한 무게 매개변수 $ w_{\text{gen}} $ 를 포함한다.
• 기여도에 따라 활성 국소 모델 수를 자동으로 감소시키는 프루닝 메커니즘을 도입하여 정확도를 유지하면서도 효율성을 향상시킨다.
• 탄력적이고 데이터 기반의 국소적 특징 표현을 允허함으로써 국소 비모수적 설정으로의 확장을 시도한다.

실험 결과

연구 질문

• RQ1 국소적으로 가중된 회귀(LWR)의 계산 효율성을 유지하면서도 기능 값에 대한 완전한 생성 모델링이 가능한 확률적 회귀 모델을 설계할 수 있는가?
• RQ2 전체 가우시안 프로세스 추론의 전체 계산 비용을 지불하지 않고도 국소 모델 간의 협업 학습을 어떻게 실현할 수 있는가?
• RQ3 제안된 방법은 LWR와 믹스처 오브 은사자(ME)에 비해 하이퍼파rameter 민감도를 어느 정도 감소시키는가?
• RQ4 특히 고차원 또는 실시간 환경에서, 더 적은 수의 국소 모델과 적은 튜닝으로도 높은 정확도를 유지할 수 있는가?

주요 결과

• LGR는 교차 함수 벤치마크에서 LWR와 믹스처 오브 은사자(ME)보다 예측 정확도에서 뛰어나며, 더 적은 수의 국소 모델로도 낮은 정규화된 평균제곱오차를 달성한다.
• LGR의 성능은 $ w_{\text{gen}} $ 하이퍼파rameter의 선택에 대해 매우 강인하며, 높은 값일 경우 정확도 향상 폭이 미미하여 튜닝에 대한 민감도가 낮음을 시사한다.
• SARCOS 역역학 모델링 과제에서 LGR는 모든 7개 관절에서 LWR와 ME보다 뛰어난 예측 정확도를 보이며, 고차원 환경에서의 강력한 일반화 능력을 입증한다.
• 최대 2000개의 국소 모델을 허용하는 $ w_{\text{gen}} = 1 $ 조건에서도 LGR의 프루닝 메커니즘이 최종 활성 모델 수를 소수의 비율로 줄여 효과적인 모델 압축을 보였다.
• 변분 근사법은 국소 모델을 성공적으로 분리하여 계산 비용을 선형 복잡도로 감소시키면서도 모델 품질을 유지했다.
• LGR의 생성 모델링 구조는 LWR와 달리 학습 및 테스트 데이터를 동일한 원리로 다루며, 파라미터와 모델 구조의 체계적인 학습을 가능하게 한다.