[논문 리뷰] Minimum Regret Search for Single- and Multi-Task Optimization

Jan Hendrik Metzen|arXiv (Cornell University)|2016. 02. 02.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 9

한 줄 요약

이 논문은 최소 회귀 탐색(MRS)을 소개한다. MRS는 최종 추천의 낮은 위험을 줄이기 위해 집중함으로써 진정한 최적값과 추천된 해의 차이인 기대 단순 회귀를 명시적으로 최소화하는 새로운 베이지안 최적화의 획득 함수이다. MRS는 고차원의 다중 작업 로봇 제어 작업에서 엔트로피 탐색(ES) 및 기타 방법보다 고회귀 외곽선을 더 잘 줄이며, 중앙값 성능을 유지한다.

ABSTRACT

We propose minimum regret search (MRS), a novel acquisition function for Bayesian optimization. MRS bears similarities with information-theoretic approaches such as entropy search (ES). However, while ES aims in each query at maximizing the information gain with respect to the global maximum, MRS aims at minimizing the expected simple regret of its ultimate recommendation for the optimum. While empirically ES and MRS perform similar in most of the cases, MRS produces fewer outliers with high simple regret than ES. We provide empirical results both for a synthetic single-task optimization problem as well as for a simulated multi-task robotic control problem.

연구 동기 및 목표

• 기존의 베이지안 최적화 방법이 정보 수확을 우선시하면서 최종 추천의 회귀를 최소화하지 못하는 한계를 해결하기 위해.
• 기대 단순 회귀를 직접 목표로 삼는 획득 함수를 개발하여, 외곽선 성능이 중요한 실세계 응용에서의 신뢰성을 향상시키기 위해.
• 특히 맥락 매개변수를 가진 로봇 제어 설정에서 다중 작업 최적화로까지 회귀 최소화 원리를 확장하기 위해.
• 합성 및 실제 로봇 제어 작업에서 최신 기법인 엔트로피 탐색과 기대 개선법과의 비교를 통해 MRS의 실증적 검증을 수행하기 위해.
• 엔트로피 탐색과 같은 정보 이론 기반 접근법과 비교했을 때 MRS가 단순 회귀 결과의 빈도를 줄이는지 확인하기 위해.

제안 방법

• MRS는 목적 함수의 사후 분포에 대한 기대 단순 회귀를 획득 함수로 설정하며, 기대된 진정한 최적값과 추천된 점 간의 차이를 추정하기 위해 몬테카를로 샘플링을 사용한다.
• 목적 함수와 그 불확실성을 표현하기 위해 비등방성 Matérn 커널을 사용하는 가우시안 프로세스(GPs) 기반의 확률 모델을 적용한다.
• 기대 회귀를 효율적으로 계산하기 위해 $ n_f = 1000 $개의 함수 샘플, $ n_r = 25 $개의 회귀 샘플, $ n_y = 51 $개의 관측치를 사용하는 샘플 기반 근사법을 사용한다.
• 다중 작업 최적화에서는 맥락 변수 $ \mathbf{s} $ 에 조건을 두어 맥락 기반 탐색으로 확장되며, 매개변수 $ \mathbf{\theta} $ 와 맥락에 대한 동시 최적화를 가능하게 한다.
• 획득 함수는 두 단계 절차를 통해 최적화된다: 먼저 DIRECT를 사용한 전역 최적화 후 L-BFGS를 이용한 局부 정밀 조정.
• MRS는 합성 및 로봇 제어 실험 모두에서 UCB, PI, EI, 엔트로피 탐색(ES), 랜덤/그리디 기준선과 비교된다.

실험 결과

연구 질문

• RQ1 기대 단순 회귀를 명시적으로 최소화하는 획득 함수가 정보 이론 기반 방법인 엔트로피 탐색보다 중앙값 성능과 외곽선 성능 측면에서 뛰어나게 되는가?
• RQ2 MRS는 다중 제어 관절이 있는 로봇 제어와 같은 고차원 다중 작업 최적화 환경에서 어떻게 성능을 발휘하는가?
• RQ3 특히 복잡하거나 노이즈가 많은 탐색 공간에서, MRS는 엔트로피 탐색보다 고회귀 결과의 빈도를 줄이는가?
• RQ4 수렴 속도와 최종 해 품질 측면에서 MRS는 UCB 및 기대 개선법과 같은 전통적 획득 함수보다 어떻게 비교되는가?
• RQ5 MRS는 맥락 매개변수를 가진 다중 작업 베이지안 최적화로 효과적으로 확장될 수 있으며, 다양한 맥락 간에 잘 일반화되는가?

주요 결과

• 합성 단일 작업 문제에서 MRS는 중앙값 단순 회귀 측면에서 엔트로피 탐색(ES)과 유사한 성능을 달성하지만, 고회귀 외곽선의 빈도가 현저히 적다.
• 다중 작업 로봇 제어 작업에서 네 개의 관절을 제어할 경우, MRS는 200 에피소드 후 p < 0.01로 ES를 능가하며, 고차원 공간에서의 강건성을 보여준다.
• 한 개 또는 두 개의 제어 가능한 관절이 있는 경우 MRS와 ES는 유사하게 성능을 내지만, MRS는 극단적인 회귀 값을 줄이는 데 일관된 이점이 있다.
• 그리디 및 랜덤 기준선은 성능이 열악하여, 복잡한 제어 작업에서 GP 기반 모델링만으로는 신속하고 신뢰할 수 있는 학습이 불가능하다는 것을 시사한다.
• 로봇 제어 작업에서 MRS는 16개의 테스트 맥락 전반에서 강력한 일반화 성능을 보이며, 평균 성능이 200 에피소드 동안 지속적으로 향상된다.
• 결과적으로 MRS는 고차원 탐색 공간에서 많은 저확률이지만 고영향도 영역이 존재하는 경우, 엔트로피 탐색보다 고회귀 영역를 탐색하지 않는 경향이 적다.