[논문 리뷰] Towards White-box Benchmarks for Algorithm Control

André Biedenkapp, H. Furkan Bozkurt외 2명|arXiv (Cornell University)|2019. 06. 18.

Machine Learning and Data Classification참고 문헌 31인용 수 4

한 줄 요약

이 논문은 강화학습(Reinforcement Learning, RL)을 활용하여 알고리즘 내 동적 하이퍼파rameter 제어를 학습하는 새로운 프레임워크를 제안한다. 이는 문제 인스턴스에 따라 시간이 지남에 따라 적응하는 정책을 모델링하기 위해 문맥 기반 마르코프 결정 과정(Contextual Markov Decision Process, MDP)으로 공식화된 것이다. 알고리즘 제어를 평가하기 위해 세 가지 새로운 화이트박스 벤치마크를 제안하였으며, 정책 복잡도와 인스턴스 이질성이 증가할수록 정적 블랙박스 설정에 비해 RL이 뛰어난 성능을 보임을 입증하였다.

ABSTRACT

The performance of many algorithms in the fields of hard combinatorial problem solving, machine learning or AI in general depends on tuned hyperparameter configurations. Automated methods have been proposed to alleviate users from the tedious and error-prone task of manually searching for performance-optimized configurations across a set of problem instances. However there is still a lot of untapped potential through adjusting an algorithm's hyperparameters online since different hyperparameters are potentially optimal at different stages of the algorithm. We formulate the problem of adjusting an algorithm's hyperparameters for a given instance on the fly as a contextual MDP, making reinforcement learning (RL) the prime candidate to solve the resulting algorithm control problem in a data-driven way. Furthermore, inspired by applications of algorithm configuration, we introduce new white-box benchmarks suitable to study algorithm control. We show that on short sequences, algorithm configuration is a valid choice, but that with increasing sequence length a black-box view on the problem quickly becomes infeasible and RL performs better.

연구 동기 및 목표

• 반복 알고리즘에서 정적 하이퍼파rameter 설정의 한계를 해결하기 위해 동적이고 인스턴스에 민감한 제어를 가능하게 한다.
• 실시간 하이퍼파rameter 조정을 인스턴스에 의존하는 정책 학습을 모델링하기 위해 문맥 기반 MDP로 공식화한다.
• 다양한 문제 인스턴스를 통해 알고리즘 제어를 평가하기 위한 새로운 투명한(화이트박스) 벤치마크를 개발한다.
• 블랙박스 최적화와 강화학습 간의 동적 알고리즘 제어 가능성과 성능을 조사한다.
• RL이 새로운 또는 복잡한 인스턴스 집합에서 정적 설정보다 더 잘 일반화됨을 입증한다.

제안 방법

• 알고리즘 제어를 상태가 알고리즘 진행 상황과 인스턴스 특징을 나타내고, 행동이 하이퍼파rameter 설정이며, 보상이 성능 지표 기반인 문맥 기반 MDP로 공식화한다.
• 고차원 상태-행동 공간에서 정책을 학습하기 위해 기능 근사(Function Approximation)를 사용하는 딥 Q네트워크(Deep Q-Network, DQN)를 사용한다.
• 세 가지 새로운 화이트박스 벤치마크를 설계: 시그모이드(Sigmoid), 시그모이드MVA(SigmoidMVA), 그리고 합성 MVA 문제. 각각은 인스턴스별 최적 하이퍼파rameter 시퀀스를 가진다.
• 학습 및 테스트 인스턴스 집합에서 딥 RL(DQN), 이psilon-그리디 Q학습, 블랙박스 최적화기(SMAC, URS)를 사용해 에이전트를 훈련시킨다.
• 일정 수의 인스턴스 집합에서 학습하고, 이를 기반으로 미리 보지 않은 인스턴스에서 테스트하여 일반화 성능을 평가하며, 정책의 안정성과 수렴 속도를 측정한다.
• 25회의 학습 런에 걸쳐 스무딩 및 통계적 평균을 적용하여 신뢰할 수 있는 성능 추정을 확보하고 표준 오차를 보고한다.

실험 결과

연구 질문

• RQ1 강화학습이 알고리즘 실행 중 개별 문제 인스턴스에 맞춰 동적으로 하이퍼파rameter 정책을 효과적으로 학습할 수 있는가?
• RQ2 정책 길이와 복잡도가 증가함에 따라 블랙박스 알고리즘 설정의 성능과 RL 기반 제어의 성능는 어떻게 비교되는가?
• RQ3 다양한 학습 인스턴스 집합에서 유한한 수의 인스턴스에서 학습한 RL 에이전트가 새로운 테스트 인스턴스로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 탐색 전략(예: 이psilon-그리디 대비 무작위 샘플링)이 동적 알고리즘 제어에서 정책 학습에 어떤 영향을 미치는가?
• RQ5 상태 정보가 이질적인 인스턴스 환경에서 블랙박스 최적화기보다 RL 에이전트가 우월한 성능을 내는 데 어떤 역할을 하는가?

주요 결과

• 기능 근사를 사용하는 강화학습(DQN)은 시그모이드 및 시그모이드MVA 벤치마크에서 동적 하이퍼파라미터 정책을 성공적으로 학습하였으며, 정책 길이가 길어질수록 정적 블랙박스 설정에 비해 뛰어난 성능을 보였다.
• 짧은 시퀀스에서는 블랙박스 최적화(SMAC 등)가 DQN과 유사한 성능을 보이며, 단순하고 고정된 길이의 정책에 대해 타당성을 입증하였다.
• 표본 기반 Q학습 에이전트는 100개의 인스턴스로 구성된 전체 학습 세트에서 훈련된 후에도 과적합과 국소 최적점 문제로 인해 새로운 테스트 인스턴스로의 일반화에 실패하였다.
• DQN은 새로운 테스트 인스턴스를 효과적으로 일반화하여 인스턴스별 최적 하이퍼파라미터 시퀀스에 적응하는 견고한 정책을 학습하였다.
• 고차원 행동 공간(예: 5개의 행동을 가진 시그모이드MVA)에서는 블랙박스 최적화기(SMAC 등)가 상태 정보 없이 어려움을 겪는 반면, DQN은 상태 컨텍스트를 활용해 효과적으로 적응하였다.
• 제안된 화이트박스 벤치마크를 통해 알고리즘 제어의 통제된 평가가 가능해졌으며, 정적 설정의 한계와 데이터 기반 동적 정책 학습의 장점들이 드러났다.