[논문 리뷰] Raiders of the Lost Architecture: Kernels for Bayesian Optimization in Conditional Parameter Spaces

Kevin Swersky, David Duvenaud외 3명|arXiv (Cornell University)|2014. 09. 14.

Machine Learning and Data Classification참고 문헌 20인용 수 53

한 줄 요약

이 논문은 조건부 파rameter 공간(예: 가변 깊이를 가진 신경망 아키텍처와 같은)을 효율적으로 탐색할 수 있도록 하는 새로운 가우시안 프로세스 커널인 arc 커널을 소개한다. 이 커널은 공유되는 관련 하이퍼파rameter를 기반으로 아키텍처 간의 의존성을 모델링함으로써 베이지안 최적화를 가능하게 한다. arc 커널은 모델 정확도와 최적화 효율성을 향상시키며, MNIST와 CIFAR-10에서 회귀 및 베이지안 최적화 작업 모두에서 표준 커널과 별도의 모델보다 뛰어난 성능을 보였다.

ABSTRACT

In practical Bayesian optimization, we must often search over structures with differing numbers of parameters. For instance, we may wish to search over neural network architectures with an unknown number of layers. To relate performance data gathered for different architectures, we define a new kernel for conditional parameter spaces that explicitly includes information about which parameters are relevant in a given structure. We show that this kernel improves model quality and Bayesian optimization results over several simpler baseline kernels.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 가변 깊이를 가진 경우와 같이, 일부 하이퍼파rameter가 아키텍처에 따라 조건부로 관련성이 있는 파rameter 공간에서 최적화하는 데 도전하는 것.
• 다른 활성 파라미터 수를 가진 아키텍처 간의 함수 공분산을 모델링할 수 있는 커널을 개발하는 것.
• 공유되는 파라미터가 존재할 경우, 한 아키텍처의 성능 데이터가 다른 아키텍처의 탐색에 영향을 주도록 해, 베이지안 최적화의 효율성을 향상시키는 것.
• 각 아키텍처마다 별도의 모델을 필요로 하지 않도록 하여 계산 비용을 줄이고 데이터 효율성을 높이는 것.

제안 방법

• arc 커널은 관련 파라미터에 대한 선형 커널과, 서로 다른 관련성 패턴을 가진 점들을 비교할 때 일관성을 유지하는 데 사용되는 델타 함수의 곱으로 정의된다.
• 이 커널은 공유된 관련 파라미터에만 의존하도록 보장하여, 관련이 없는 파라미터가 공분산에 영향을 주지 않도록 한다.
• 커널은 커널 하이퍼파라미터가 슬라이스 샘플링를 통해 추론되는 가우시안 프로세스 프레임워크에 통합된다.
• 입력 표현에 관련 정보를 명시적으로 포함시켜 여러 아키텍처 간의 공동 모델링을 지원한다.
• 공유된 하이퍼파라미터를 유사성의 기반으로 삼음으로써 아키텍처 간의 정보 전이를 가능하게 한다.
• 피드포워드 신경망을 사용하여 MNIST 및 CIFAR-10에서 GP 회귀 및 베이지안 최적화 설정 모두에서 평가되었다.

실험 결과

연구 질문

• RQ1 아키텍처 구조에 따라 입력 차원이 조건부로 관련성이 있는 파라미터 공간에서 함수 공분산을 모델링할 수 있는 커널을 설계할 수 있는가?
• RQ2 표준 커널과 별도의 모델 대비 arc 커널은 조건부 파라미터 공간에서 예측 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 arc 커널은 신경망 아키텍처 탐색에서 베이지안 최적화의 효율성과 수렴 속도를 향상시키는가?
• RQ4 두 아키텍처가 하이퍼파라미터의 일부만 공유할 경우, 한 아키텍처에서의 정보를 다른 아키텍처에 의미 있게 공유할 수 있는 정도는 어느 정도인가?

주요 결과

• 원본 출력을 사용한 MNIST 베이지안 최적화 데이터셋에서 arc 커널은 0.421 ± 0.033의 정규화된 평균 제곱오차를 기록하여 베이시스라인 가우시안 프로세스(0.481 ± 0.031)보다 유의미하게 뛰어난 성능을 보였다.
• 로그 변환된 출력을 사용한 경우, arc 커널은 0.335 ± 0.028의 성능을 기록하여 베이시스라인 GP(0.401 ± 0.028)와 별도의 모델보다 뛰어났다.
• MNIST에서 arc 커널을 사용해 찾은 최고의 모델은 50,000개의 훈련 예제를 사용해 테스트 오차 1.19%를 기록했으며, 더 많은 데이터를 사용한 이전 결과(1.28%)를 초월했다.
• CIFAR-10에서는 arc 커널 모델이 45,000개의 예제로 21.1%의 테스트 오차를 기록했으며, 1,600개의 특징과 50,000개의 예제를 사용한 베이시스라인 SVM(22.1% 오차)보다 뛰어났다.
• arc 커널 모델은 베이시스라인보다 더 깊은 아키텍처를 더 효과적으로 탐색했으며, 이는 더 유망한 영역을 효과적으로 탐색하고 있음을 시사한다.
• arc 커널은 각 아키텍처마다 별도의 모델이 필요로 하는 것을 줄여 데이터 효율성을 향상시키고, 베이지안 최적화에서 더 빠른 수렴을 가능하게 했다.