[논문 리뷰] The Knowledge Gradient Policy Using A Sparse Additive Belief Model

Yan Li, Han Liu외 1명|arXiv (Cornell University)|2015. 03. 18.

Statistical Methods and Inference참고 문헌 34인용 수 3

한 줄 요약

이 논문은 불확실성 하에서 순차적 의사결정 문제에 대해 고차원적이고 희박한 가산 모델을 위한 지식 기반 경향 정책인 KGSpLin과 KGSpAM을 제안한다. 그룹 Lasso와 베이지안 추론, B-spline 기저 전개를 결합함으로써, 유한한 예산 내에서 관련 특징을 효율적으로 식별하고 최적의 대안을 선택할 수 있으며, 최적의 추정 오차율을 달성하고 선형 모델 기준선을 초월하는 제어 실험에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a sequential learning policy for noisy discrete global optimization and ranking and selection (R\&S) problems with high dimensional sparse belief functions, where there are hundreds or even thousands of features, but only a small portion of these features contain explanatory power. We aim to identify the sparsity pattern and select the best alternative before the finite budget is exhausted. We derive a knowledge gradient policy for sparse linear models (KGSpLin) with group Lasso penalty. This policy is a unique and novel hybrid of Bayesian R\&S with frequentist learning. Particularly, our method naturally combines B-spline basis expansion and generalizes to the nonparametric additive model (KGSpAM) and functional ANOVA model. Theoretically, we provide the estimation error bounds of the posterior mean estimate and the functional estimate. Controlled experiments show that the algorithm efficiently learns the correct set of nonzero parameters even when the model is imbedded with hundreds of dummy parameters. Also it outperforms the knowledge gradient for a linear model.

연구 동기 및 목표

• 오직 몇몇 특징만 관련성이 있는 고차원적, 희박한 신뢰 모델에서 순차적 의사결정 문제를 해결하기 위해.
• 유한한 예산 하에서 최적의 대안과 그 뒤에 있는 희박성 구조를 동시에 식별하는 정책을 개발하기 위해.
• B-spline 근사화를 통해 지식 기반 경향을 선형 모델에서 비모수적 가산 모델로 일반화하기 위해.
• 희박한 설정에서 사후 평균 및 기능 추정치의 이론적 오차 경계를 제공하기 위해.
• 수백 개의 관련 없는 특징이 존재하는 상황에서도 진짜 희박성 패턴을 회복할 수 있는지 경험적으로 검증하기 위해.

제안 방법

• 계수 추정에서 그룹 희박성을 촉진하기 위해 ℓ1,∞ 그룹 Lasso를 사용하는 희박 선형 모델을 위한 지식 기반 경향 정책(KGSpLin)을 제안한다.
• 모르는 매끄러운 함수를 표현하기 위해 B-spline 기저 전개를 활용하여 비모수적 추정을 가능하게 한다.
• 활성 특징이 되는지에 대한 불확실성을 모델링하기 위해 지표 변수에 대한 베타-베르누이 콘jugate 사전을 도입한다.
• 텐서 곱 B-spline을 통해 KGSpLin을 비모수적 희박 가산 모델(KGSpAM) 및 기능 ANOVA 모델로 일반화한다.
• 순차적 학습 중에도 계산 효율성을 유지하기 위해 재귀적 그룹 Lasso 최적화를 위한 호모토피 알고리즘을 사용한다.
• 희박성 가정 하에 사후 평균 및 기능 추정치의 이론적 추정 오차 경계를 유도한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 측정치가 존재하는 고차원적, 희박한 최적화 문제에서 지식 기반 경향 정책이 최적의 대안을 효과적으로 식별할 수 있는가?
• RQ2 수백 개의 특징이 존재할 때, 대부분이 관련이 없는 상황에서 이 방법이 진짜 희박성 패턴을 얼마나 잘 복원할 수 있는가?
• RQ3 희박한 가산 모델에서 사후 평균 및 기능 추정치의 추정 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 그룹 Lasso를 사용한 하이브리드 베이지안-빈도주의 접근법이 표준 지식 기반 경향 정책의 선형 모델 성능을 향상시키는가?
• RQ5 고차원적, 희박한 신호 구조를 가진 제어 실험에서 이 방법은 어떻게 확장되고 성능을 발휘하는가?

주요 결과

• 사후 평균 추정치의 추정 오차 경계는 O(σε² s* d̄² log p / n)이며, 여기서 s*는 진짜 희박성이고 d̄는 특징당 평균 기저 함수 수이다.
• 기능 추정치 오차는 O(σε² log p / n²/³)로 경계지어지며, 최적의 희박성과 기저 선택 조건 하에서 수렴함을 보여준다.
• 제어 실험 결과, 이 알고리즘은 수백 개의 더미 특징이 포함된 상황에서도 올바른 비제로 매개변수 집합을 성공적으로 식별한다.
• KGSpAM은 선택 정확도와 희박성 회복 모두에서 표준 지식 기반 경향 정책의 선형 모델보다 뛰어난 성능을 보인다.
• 이론적 분석을 통해 사후 공분산 행렬이 1/n² 비례 속도로 수축함을 확인하여 일관된 추정이 가능함을 뒷받침한다.
• 최적의 기저 차원 d̄ = O(n¹/⁶)일 경우, 기능 추정에 대해 최소극값 최적 수렴 속도 O(σε² log p / n²/³)를 달성한다.