[논문 리뷰] High Dimensional Bayesian Optimization Using Dropout

Cheng Li, Sunil Gupta외 4명|arXiv (Cornell University)|2018. 02. 15.

Machine Learning and Data Classification인용 수 13

한 줄 요약

이 논문은 계산 비용을 줄이면서도 성능 오차 경계를 유지하기 위해 드롭아웃을 사용하여 변수의 부분집합을 순차적으로 최적화하는 고차원 베이지안 최적화 방법을 제안한다. 이 방법은 벤치마크 함수와 카스케이드 분류기 학습, 합금 조성 최적화와 같은 실제 응용 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Scaling Bayesian optimization to high dimensions is challenging task as the global optimization of high-dimensional acquisition function can be expensive and often infeasible. Existing methods depend either on limited active variables or the additive form of the objective function. We propose a new method for high-dimensional Bayesian optimization, that uses a dropout strategy to optimize only a subset of variables at each iteration. We derive theoretical bounds for the regret and show how it can inform the derivation of our algorithm. We demonstrate the efficacy of our algorithms for optimization on two benchmark functions and two real-world applications- training cascade classifiers and optimizing alloy composition.

연구 동기 및 목표

• 전체 차원에서의 목적 함수 최적화가 계산적으로 불가능한 고차원 문제에 대해 베이지안 최적화를 확장하는 데 도전한다.
• 기존 방법들이 목적 함수의 주요 부분공간 가정이나 가산적 구조에 의존하는 한계를 극복한다.
• 드롭아웃를 통한 확률적 변수 선택을 활용해 실용적이고 이론적으로 타당한 고차원 최적화 방법을 개발한다.
• 효율적인 계산을 가능하게 하면서도 성능 오차 성능에 대한 이론적 보장을 확보한다.
• 기계학습 및 재료 과학 분야의 실제 응용과 합성 벤치마크 양쪽 모두에서 효과성을 입증한다.

제안 방법

• 각 목적 함수 최적화 단계에서 변수의 부분집합을 무작위로 마스킹(제거)함으로써 최적화 수준에서 드롭아웃을 적용한다.
• 각 반복에서 남아있는 활성 변수들만을 대상으로 목적 함수를 최적화함으로써 차원 수와 계산 비용을 감소시킨다.
• 목적 함수를 모델링하기 위해 확률적 모델(예: 가우시안 프로세스)을 사용하며, 불확실성은 드롭아웃 메커니즘을 통해 전파된다.
• 반복당 활성 변수 수와 전체 차원 수에 따라 의존하는 이론적 성능 오차 경계를 유도하여 확장 가능성을 입증한다.
• 기대 개선도(Expected Improvement, EI) 또는 기타 목적 함수에 드롭아웃 전략을 통합하여 효율적인 순차 최적화를 가능하게 한다.
• 목적 함수의 추정된 복잡도 또는 곡률에 따라 드롭아웃 비율을 동적으로 조정하여 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 베이지안 최적화에서 변수 선택을 위한 드롭아웃 기반 전략이 고차원 공간에서 확장 가능한 성능을 달성할 수 있는가?
• RQ2 제안된 방법의 성능 오차는 반복 횟수와 반복당 활성 변수 수에 대해 어떻게 변화하는가?
• RQ3 가산적 구조나 제한된 활성 변수를 가정하는 기존 방법보다 이 방법이 고차원 최적화 과제에서 더 우수한 성능을 보일 수 있는가?
• RQ4 이 방법은 복잡하고 비가산적인 목적 함수를 가진 실제 문제에 효과적으로 적용될 수 있는가?
• RQ5 드롭아웃 비율을 다양하게 조절할 경우 수렴 속도와 최적화 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 드롭아웃 기반 베이지안 최적화 방법은 가산적 구조를 가정하지 않더라도 고차원 벤치마크 함수에서 기준 방법보다 낮은 성능 오차를 달성한다.
• 카스케이드 분류기 학습과 합금 조성 최적화를 포함한 실제 과제에서 뛰어난 수렴 속도와 최종 목적 함수 값 성능을 보여준다.
• 이론적 분석 결과 성능 오차 경계가 반복 횟수에 대해 비선형적으로 스케일링되며, 활성 변수 수에 따라 의존함을 입증하여 확장 가능성을 뒷받침한다.
• 실험 결과는 차원 수가 100을 초월하는 경우에도 이 방법이 표준 베이지안 최적화 및 기타 고차원 기준 방법보다 뛰어난 성능을 유지함을 확인한다.
• 드롭아웃을 활용함으로써 각 반복에서 무작위로 선택된 소수의 변수에 집중함으로써 계산 오버헤드를 줄이는 효율적인 최적화가 가능하다.
• 비분리적이고 비선형적인 목표 함수를 포함한 다양한 문제 유형에서도 이 알고리즘이 강건한 성능을 유지하며, 구조적 가정에 의존하는 방법과는 달리 우수한 성능을 보인다.