[논문 리뷰] Near-Optimal Active Learning of Multi-Output Gaussian Processes

Yehong Zhang, Trong Nghia Hoang외 2명|arXiv (Cornell University)|2015. 11. 21.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 6

한 줄 요약

이 논문은 예산 제약 하에 예측 불확실성을 최소화하기 위해 샘플링 위치와 측정 유형을 동시에 선택하는 다중 출력 가우시안 프로세스(MOGP)를 위한 근사 최적의 활성 학습 알고리즘을 제안한다. 희소 MOGP 구조를 활용하고 $\epsilon$-하위모듈라리티 성질을 도입함으로써, 다항 시간 내의 근사 해를 제공하며 일정 요율 보장을 갖는다. 이는 실제 환경 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

This paper addresses the problem of active learning of a multi-output Gaussian process (MOGP) model representing multiple types of coexisting correlated environmental phenomena. In contrast to existing works, our active learning problem involves selecting not just the most informative sampling locations to be observed but also the types of measurements at each selected location for minimizing the predictive uncertainty (i.e., posterior joint entropy) of a target phenomenon of interest given a sampling budget. Unfortunately, such an entropy criterion scales poorly in the numbers of candidate sampling locations and selected observations when optimized. To resolve this issue, we first exploit a structure common to sparse MOGP models for deriving a novel active learning criterion. Then, we exploit a relaxed form of submodularity property of our new criterion for devising a polynomial-time approximation algorithm that guarantees a constant-factor approximation of that achieved by the optimal set of selected observations. Empirical evaluation on real-world datasets shows that our proposed approach outperforms existing algorithms for active learning of MOGP and single-output GP models.

연구 동기 및 목표

• 다중 출력 가우시안 프로세스에서 예측 불확실성을 최소화하기 위해 샘플링 위치와 측정 유형을 동시에 선택해야 하는 활성 학습의 과제를 해결하기 위해.
• MOGP 모델에서 위치와 측정 유형의 공동 선택에 대해 엔트로피 기반 기준의 낮은 확장성 문제를 극복하기 위해.
• 다중 출력 GP 설정에서 활성 학습을 위한 이론적 성능 보장을 갖는 효율적인 근사 알고리즘을 개발하기 위해.
• 실제 환경 센싱 데이터셋에서 제안된 방법을 경험적으로 검증하여 기존 단일 출력 및 다중 출력 GP 활성 학습 방법들보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 희소 다중 출력 가우시안 프로세스 모델의 구조적 특성, 특히 복합 MOGP(CMOGP) 프레임워크를 기반으로 한 새로운 활성 학습 기준을 유도한다.
• 최적화 문제에 대한 이론적 성능 보장을 가능하게 하기 위해, $\epsilon$-하위모듈라리티라고 불리는 완화된 하위모듈라리티 성질을 도입한다.
• 후행 분포의 공동 엔트로피 감소 측면에서 최적 해에 대한 일정 요율 근사 보장을 제공하는 다항 시간 내의 그레디 계획 알고리즘을 설계한다.
• CMOGP 모델에서의 스케일러블 추론을 위해 PITC(부분적으로 독립적인 훈련 조건부) 근사를 활용하여 예측 불확실성의 계산을 가능하게 한다.
• 행렬 편향 이론을 활용하여 근사 후행 공분산의 오차를 경계함으로써 특정 매개변수 조건 하에서 안정성과 수렴성을 보장한다.
• 반복적으로 $\epsilon$-하위모듈라리티 기준에 기반해 가장 정보가 많은 (위치, 측정 유형) 쌍을 선택하여 실제 데이터셋에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 샘플링 위치와 측정 유형의 공동 선택이 다중 출력 가우시안 프로세스 모델에서 예측 불확실성을 상당히 감소시킬 수 있는가?
• RQ2 공간적 차원과 출력 유형 차원을 모두 고려한 MOGP 설정에서 엔트로피 기반 활성 학습의 계산 복잡도는 어떻게 감소시킬 수 있는가?
• RQ3 제안된 활성 학습 기준에서 $\epsilon$-하위모듈라리티 성질이 존재하는가? 이는 이론적 보장을 갖는 효율적 근사 가능성을 제공하는가?
• RQ4 제안된 방법은 기존 단일 출력 및 다중 출력 GP 모델을 위한 활성 학습 알고리즘과 비교해 성능가능성이 있는가?

주요 결과

• 제안된 알고리즘은 후행 분포의 공동 엔트로피를 최소화하기 위해 일정 요율 근사 보장을 확보하여 이론적 경계 내에서 근사 최적 성능을 달성한다.
• 주라 토양 오염, 실내 환경 품질(IEQ), 해안 조류 번식 데이터셋에 대한 경험적 평가에서 기준 방법들 대비 일관된 성능 향상을 보였다.
• 예측 불확실성 감소 측면에서 기존 단일 출력 및 다중 출력 GP 모델을 위한 활성 학습 알고리즘들을 모두 능가하는 성능을 보였다.
• CMOGP 구조와 PITC 근사를 활용함으로써 알고리즘이 대규모 데이터셋에 효과적으로 스케일링되며, 계산의 타당성을 유지한다.
• 이론적 분석을 통해 커널 매개변수와 노이즈 수준에 대한 온건한 조건 하에서 $\epsilon$-하위모듈라리티 성질이 성립함을 확인하여 안정적인 최적화를 가능하게 했다.