[논문 리뷰] Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start

Valerio Perrone, Rodolphe Jenatton외 2명|arXiv (Cornell University)|2017. 12. 08.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 15

한 줄 요약

이 논문은 다수의 작업 간에서 확장 가능한 베이지안 최적화(BO)와 전이 학습을 가능하게 하기 위해 공유되는 신경망을 갖춘 다중 적응형 베이지안 선형 회귀(ABL-R)를 제안한다. 깊이 있는 특징 표현과 작업별 선형 모델을 함께 학습함으로써, 기존의 세제곱 스텝을 가지는 가우시안 프로세스와는 달리 데이터 크기에 비례해 선형적으로 확장되는 성능를 달성하며, 관련 작업의 이전 평가 결과를 활용한 웜스타트 BO를 통해 초모수 최적화의 수렴 속도를 크게 향상시킨다.

ABSTRACT

Bayesian optimization (BO) is a model-based approach for gradient-free black-box function optimization. Typically, BO is powered by a Gaussian process (GP), whose algorithmic complexity is cubic in the number of evaluations. Hence, GP-based BO cannot leverage large amounts of past or related function evaluations, for example, to warm start the BO procedure. We develop a multiple adaptive Bayesian linear regression model as a scalable alternative whose complexity is linear in the number of observations. The multiple Bayesian linear regression models are coupled through a shared feedforward neural network, which learns a joint representation and transfers knowledge across machine learning problems.

연구 동기 및 목표

• 가우시안 프로세스 기반의 베이지안 최적화에서 데이터 크기에 따라 세제곱 스텝을 가지는 계산 비용 문제를 해결함으로써 확장성의 한계를 해소한다.
• 다양한 데이터셋이나 머신러닝 워크플로우와 같은 다수의 관련 작업에서의 지식을 활용하여 베이지안 최적화에서 효과적인 전이 학습을 가능하게 한다.
• 관측 수에 비례해 선형적으로 확장되면서도 베이지안 방법의 불확실성 정량화 기능을 유지하는 모델을 개발함으로써 대규모 적용에 적합한 모델을 설계한다.
• 딥 특징 표현(신경망을 통해)과 작업별 베이지안 선형 모델을 동시에 최적화함으로써 별도의 사전 훈련 단계가 필요 없도록 한다.

제안 방법

• 공유되는 순방향 신경망을 사용하여 다수의 작업에 걸쳐 공통적인 특징 표현을 입력 데이터로부터 학습한다.
• 각 작업은 공유된 신경망의 출력에 기반한 별도의 베이지안 선형 회귀(BLR)로 모델링되며, 가중치와 정밀도 파rameter가 포함된다.
• 통합 목적 함수는 모든 작업에 대한 로그 우도의 합을 최대화함으로써, 원칙적인 불확실성 전파를 보장하는 엔드 투 엔드 훈련을 가능하게 한다.
• 사후 추론은 해석적으로 해석 가능하다: 관측된 데이터와 모델 하이퍼파rameter에 기반한 폐쇄형 가우시안 업데이트를 통해 예측 평균과 분산을 계산한다.
• 다양한 신호(예: 검증 정확도, 학습 시간 등)를 다룰 수 있도록 각 신호에 대해 별도의 정밀도 파rameter를 모델링함으로써 이질적인 신호를 지원한다.
• 무작위 푸리에 특징과 표준 가우시안 프로세스(GP)와의 비교를 통해, 전이 학습 환경에서 더 뛰어난 확장성과 성능을 입증한다.

실험 결과

연구 질문

• RQ1 데이터 크기에 따라 세제곱 스텝을 가지는 비용을 유발하지 않으면서도 전이 학습을 지원하는 확장 가능한 베이지안 모델을 설계할 수 있는가?
• RQ2 딥 특징 표현과 작업별 베이지안 선형 모델을 함께 학습하는 방식이, 별도의 사전 훈련과 미세조정을 거치는 방식과 비교해 최적화 효율성에서 어떻게 다를 수 있는가?
• RQ3 다른 데이터셋이나 신호들 간의 관련된 작업 지식을 얼마나 효과적으로 활용할 수 있는가? 이는 초모수 최적화의 수렴 속도 향상에 어떤 영향을 미치는가?
• RQ4 다양한 이질적인 신호(예: 정확도와 학습 시간)를 통합함으로써 단일 출력 모델 대비 베이지안 최적화의 성능 향상이 이루어지는가?

주요 결과

• 29개의 관련 작업에서의 이전 평가 결과를 웜스타트로 활용할 경우, 단순 ABLR나 GP 기반 BO에 비해 ABL-R에 신경망 기반 특징을 적용한 모델이 초모수 최적화에서 더 빠른 수렴을 달성한다.
• 모델은 관측 수에 대해 선형적으로 확장되며, 총 75만 건 이상의 평가를 포함한 대규모 데이터셋에 적용 가능하다. 반면 GP 기반 접근법은 규모가 커지면 적용이 불가능해진다.
• 무작위 푸리에 특징(RKS, D=100)보다 신경망 기반 특징 학습이 성능이 뛰어나지만, RKS는 더 빠른 속도를 보임에도 불구하고, 학습된 표현이 전이 학습에 더 효과적임을 시사한다.
• 컨텍스트 정보(예: 데이터셋 크기 등)를 포함시켜도 일관된 성능 향상이 나타나지 않아, 단순화를 위해 후속 실험에서는 이를 생략하였다.
• 다중 신호 튜닝(예: 검증 정확도, 학습 시간 등) 환경에서는 ABLR 기반 초모수 최적화에서 보조 신호를 통합함으로써 수렴 속도가 향상됨을 확인하였다.
• 로그 우도 최대화를 통한 신경망과 BLR 모델의 통합 훈련 방식이, 제곱 오차 손실로 사전 훈련한 후 BLR로 전환하는 두 단계적 접근 방식보다 성능이 뛰어나다.