[논문 리뷰] Bayesian Optimization for Dynamic Problems

Favour Nyikosa, Michael A. Osborne외 1명|arXiv (Cornell University)|2018. 03. 09.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 11

한 줄 요약

이 논문은 시간에 따라 변화하는 목적 함수를 가진 동적 문제를 위한 적응형 베이지안 최적화(ABO)를 제안한다. 시공간 가우시안 프로세스를 사용하여 시간적 및 공간적 변화를 모델링하며, 시간적 상관관계를 활용해 평가를 자동으로 스케줄링하고, 샘플링 주파수를 적응적으로 조정함으로써 기준 방법들보다 적은 함수 평가 수로 추적 효율성을 유지한다. 합성 및 실제 동적 최적화 과제에서 표준 BO 및 비-BO 접근 방식을 모두 능가한다.

ABSTRACT

We propose practical extensions to Bayesian optimization for solving dynamic problems. We model dynamic objective functions using spatiotemporal Gaussian process priors which capture all the instances of the functions over time. Our extensions to Bayesian optimization use the information learnt from this model to guide the tracking of a temporally evolving minimum. By exploiting temporal correlations, the proposed method also determines when to make evaluations, how fast to make those evaluations, and it induces an appropriate budget of steps based on the available information. Lastly, we evaluate our technique on synthetic and real-world problems.

연구 동기 및 목표

• 시간에 따라 변화하는 목적 함수를 가진 동적 최적화 문제를 해결하기 위해, 목적 함수가 평가 비용이 높은 상황에서의 적용을 목표로 한다.
• 재시작이 필요 없거나 변화 패턴에 대한 사전 지식이 없더라도 시간 동적성을 적응적으로 반영할 수 있는 베이지안 최적화 프레임워크를 개발하기 위해.
• 시간적 상관관계를 학습하고 이를 바탕으로 샘플링 주파수를 조정함으로써 함수 평가의 자동 스케줄링을 가능하게 하기 위해.
• 시간 인식형 서rogate 모델링과 획득 함수 설계를 통합하여 이동 최적값을 추적하는 데 있어 데이터 효율성을 향상시키기 위해.
• 실제 동적 문제, 예를 들어 센서 네트워크 최적화 및 시간에 따라 변화하는 시스템 설정에 적용 가능한 실용적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 공간과 시간의 상관관계를 동시에 반영하는 시공간 가우시안 프로세스 사전분포를 사용하여 동적 목적 함수를 모델링한다.
• 부드러운 변화와 급격한 변화를 모두 처리할 수 있도록, 공간적 구성요소와 시간적 구성요소에 각각 제곱지수 및 마르틴-1/2 공분산 함수를 조합한 복합 커널 구조를 사용한다.
• 최소값의 추세 유지 정도를 제어하기 위해 시간 상관 계수 α를 도입하여 비정상적인 동적 변화에 적응적으로 추적할 수 있도록 한다.
• 시간적 불확실성과 시간에 따른 기대 향상도를 고려하여 탐색과 이용의 균형을 이루는 획득 함수를 설계한다.
• 초모수 추론를 통해 목적 함수의 변화 시간 스케일을 추정함으로써 평가 시점과 주파수를 동적으로 결정한다.
• 예측된 변화율과 가용 정보를 기반으로 단계 예산을 유도하여 예산 인식 최적화를 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 베이지안 최적화를 시간에 따라 변화하는 목적 함수에서 이동 최적값을 효율적으로 추적할 수 있는가?
• RQ2 비용이 많이 들지만 시간에 따라 변화하는 동적 문제에서 시간 역학을 효과적으로 학습할 수 있는 모델링 접근 방식은 무엇인가?
• RQ3 시간적 상관관계를 활용하여 동적 최소값을 추적하기 위해 필요한 함수 평가 횟수를 줄일 수 있는가?
• RQ4 표준 BO 및 비-BO 메타휴리스틱 기반 접근 방식과 비교할 때, 제안된 방법은 데이터 효율성과 수렴 속도 측면에서 어떻게 다른가?
• RQ5 시간 변화 패턴에 대한 사전 지식 없이도 평가를 자동으로 스케줄링할 수 있는 정도는 어느 정도인가?

주요 결과

• ABO는 이동 피크 기준 테스트에서 표준 베이지안 최적화 및 비-BO 메타휴리스틱 기반 방법들을 능가했으며, 훨씬 적은 함수 평가 횟수로 더 높은 성능을 달성했다.
• 합성 이동 피크 문제에서 ABO-f는 모든 방법 중 평균 성능이 가장 뛰어나 목적 함수의 급격한 변화에 대한 강건성을 입증했다.
• ABO-t는 짧은 시간 스케일 하이퍼파rameter로 인해 고정 간격 방법보다 40% 더 많은 단계를 사용했으며, 이는 급격한 동적 변화에 대응하는 적응형 평가 전략을 확인하는 데 기여했다.
• 실제 온도 센서 데이터셋에서 ABO는 모든 다른 방법, 포함해 다른 BO 기반 접근 방식까지도 능가하는 최고의 평균 오프라인 성능을 기록했다.
• 시공간 GP 사전분포의 사용은 부드럽고 비부드러운 시간 동적 변화를 효과적으로 모델링할 수 있게 하여 향상된 추적 정확도와 높은 데이터 효율성을 이끌어냈다.
• 시간 진동 패턴을 학습함으로써 적절한 평가 예산을 자동으로 유도하여 불필요한 평가를 줄였고, 同시에 전역 최소값을 밀도 있게 추적하는 데 성공했다.