[논문 리뷰] Bayesian nonparametric multivariate convex regression

Lauren A. Hannah, David B. Dunson|arXiv (Cornell University)|2011. 09. 01.

Markov Chains and Monte Carlo Methods참고 문헌 32인용 수 23

한 줄 요약

이 논문은 랜덤한 초평면들의 집합의 점별 최댓값으로 회귀 함수를 모델링하여 거의 확실한 볼록성을 보장하는 베이지안 비모수적 방법을 제안한다. 이 접근법은 사후 분포 계산을 위해 역전이 마르코프 체인 몬테카를로(RJMCMC) 알고리즘을 사용하며, 진짜 함수가 $d$차원 부분공간 위에 있을 경우 경험적 $L_2$ 노름 하에서 수렴 속도가 $ olimits^{-1}n^{-1/(d+2)}$임을 확보한다.

ABSTRACT

In many applications, such as economics, operations research and reinforcement learning, one often needs to estimate a multivariate regression function f subject to a convexity constraint. For example, in sequential decision processes the value of a state under optimal subsequent decisions may be known to be convex or concave. We propose a new Bayesian nonparametric multivariate approach based on characterizing the unknown regression function as the max of a random collection of unknown hyperplanes. This specification induces a prior with large support in a Kullback-Leibler sense on the space of convex functions, while also leading to strong posterior consistency. Although we assume that f is defined over R^p, we show that this model has a convergence rate of log(n)^{-1} n^{-1/(d+2)} under the empirical L2 norm when f actually maps a d dimensional linear subspace to R. We design an efficient reversible jump MCMC algorithm for posterior computation and demonstrate the methods through application to value function approximation.

연구 동기 및 목표

• 다변량 볼록 회귀를 위한 확장 가능하고 이론적으로 탄탄한 베이지안 방법의 부족을 해결한다.
• 최소 제곱 추정기와 커널 기반 접근법과 같은 기존 볼록 회귀 방법의 한계를 극복하기 위해 효율적인 사후 계산과 강력한 이론적 일致성을 제공한다.
• 큰 모형 공간을 지원하고 강력한 사후 일치성을 보장하는 볼록 함수 위의 탄력적 비모수적 사전을 개발한다.
• 특히 가치 함수가 볼록임이 알려진 강화 학습 및 운영 연구 분야에서 고차원 및 대규모 데이터 세트에의 적용을 가능하게 한다.
• 역전이 마르코프 체인 몬테카를로(RJMCMC)와 적응형 초평면 추가/삭제 전략을 통해 모델의 계산 가능성을 유지한다.

제안 방법

• 알려지지 않은 회귀 함수 $f$를 랜덤한 초평면들의 집합의 점별 최댓값으로 모델링한다: $f(\mathbf{x}) = \max_{k=1}^K (\alpha_k + \beta_k^T \mathbf{x})$, 이는 거의 확실한 볼록성을 보장한다.
• 초평면 수 $K$와 그 매개변수 $\alpha_k, \beta_k$ 위에 사전을 정의하며, 구성에 의해 함수가 볼록임이 보장된다.
• 모형 공간을 공동 탐색하기 위해 역전이 마르코프 체인 몬테카를로(RJMCMC) 알고리즘을 사용하며, 초평면을 추가, 삭제, 또는 이동시키는 이동을 포함한다.
• 데이터 기반 분할을 사용하여 RJMCMC의 제안 분포를 설계한다: 이동의 경우 현재 초평면 할당을 사용하고, 삭제 및 추가의 경우 활성 초평면을 기반으로 한 혼합 제안을 사용한다.
• 추가의 경우, $M$개의 선형 조합과 $L$개의 고정점($\ell$)을 사용하여 기존 초평면 영역을 랜덤하거나 축에 따라 정렬된 방향으로 분할하여 후보 분할을 생성한다.
• 두 결과 영역의 크기의 곱에 비례하는 $p_b(j,\ell,m) \propto n_{j^-}^{j,\ell,m} n_{j^+}^{j,\ell,m}$를 사용하여 균형 잡힌 분할에 더 높은 제안 가중치를 부여함으로써 혼합성과 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 계산 가능성이 유지되면서 거의 확실한 볼록성을 보장하는 베이지안 비모수적 모형을 구축할 수 있는가?
• RQ2 진짜 함수가 저차원 부분공간 위에 있을 경우, 이러한 모형의 사후 일치성과 수렴 속도는 어떻게 되는가?
• RQ3 모형 차원(초평면 수)이 랜덤하고 상태 공간이 복잡한 모형에 대해 효율적인 역전이 마르코프 체인 몬테카를로(RJMCMC) 샘플링을 어떻게 설계할 수 있는가?
• RQ4 고차원 또는 대규모 데이터에서 기존 볼록 회귀 기법에 비해 확장성과 예측 정확도 측면에서 성능을 뛰어넘을 수 있는가?
• RQ5 초평면의 최댓값 사전이 $L_1$ 일치성과 최적 수렴 속도와 같은 강력한 이론적 보장을 제공하는가?

주요 결과

• 제안된 다변량 베이지안 볼록 회귀(MBCR) 모형은 볼록 함수 공간 위에 큰 쿨백-라이블러 지지도를 갖는 사전을 유도한다.
• 이 방법은 $L_1$ 노름에서 강력한 사후 일치성을 달성하여 사후 분포가 진짜 볼록 함수 근처에 집중됨을 보장한다.
• 진짜 회귀 함수 $f$가 $\mathbb{R}$로의 $d$차원 선형 부분공간을 맵핑할 경우, MBCR 모형은 경험적 $L_2$ 노름 하에서 수렴 속도 $\log(n)^{-1}n^{-1/(d+2)}$를 달성한다.
• 역전이 마르코프 체인 몬테카를로(RJMCMC) 알고리즘이 초평면 추가, 삭제, 이동을 위한 적응형 제안 분포를 사용하여 상태 공간을 효율적으로 탐색한다.
• 추가 제안 메커니즘은 두 결과 영역의 크기의 곱에 비례하는 가중치를 사용하여 균형 잡힌 분할을 우선시함으로써 혼합성과 수렴 속도를 향상시킨다.
• 실증 결과는 이 방법이 강화 학습 환경과 같이 볼록성이 알려진 구조적 제약 조건이 존재하는 가치 함수 근사에서 효과적임을 보여준다.