[논문 리뷰] Meta-Learning surrogate models for sequential decision making

Alexandre Galashov, Jonathan Schwarz외 6명|arXiv (Cornell University)|2019. 03. 28.

Adversarial Robustness in Machine Learning참고 문헌 70인용 수 10

한 줄 요약

이 논문은 확률적 모델—특히 신경 프로세스(Neural Processes)를 활용하여 관련 작업 간에 데이터 효율적이고 불확실성 인식 가능한 적응을 가능하게 하는 순차적 결정 문제를 위한 메타학습 대체 모델 프레임워크를 제안한다. 작업 분포에서 사전 훈련을 통해, 베이지안 최적화, 컨텍스트 밴딧, 강화 학습에서 빠르고 일반화 가능한 최적화를 달성하며, 최소한의 재훈련으로 베이스라인을 능가하고 예측 불확실성의 캘리브레이션을 보장한다.

ABSTRACT

We introduce a unified probabilistic framework for solving sequential decision making problems ranging from Bayesian optimisation to contextual bandits and reinforcement learning. This is accomplished by a probabilistic model-based approach that explains observed data while capturing predictive uncertainty during the decision making process. Crucially, this probabilistic model is chosen to be a Meta-Learning system that allows learning from a distribution of related problems, allowing data efficient adaptation to a target task. As a suitable instantiation of this framework, we explore the use of Neural processes due to statistical and computational desiderata. We apply our framework to a broad range of problem domains, such as control problems, recommender systems and adversarial attacks on RL agents, demonstrating an efficient and general black-box learning approach.

연구 동기 및 목표

• 현재의 순차적 결정 문제 알고리즘이 인간보다 수십 배에서 수백 배 이상의 경험을 요구하는 데이터 비효율성 문제를 해결하기 위해.
• 베이지안 최적화, 컨텍스트 밴딧, 강화 학습 등 다양한 순차적 결정 문제를 단일 확률적 메타학습 프레임워크로 통합하기 위해.
• 관련 문제의 분포에서 데이터 기반 사전 분포를 학습하여 새로운 작업에 대한 빠른 적응을 가능하게 하기 위해.
• 결정 문제에서 탐색과 이용의 균형을 효과적으로 확보하기 위해 캘리브레이션된 예측 불확실성을 통합하기 위해.
• 로봇 제어, 추천 시스템, 강화 학습 에이전트에 대한 악성 공격 등 다양한 도메인에서 일반화 능력과 효율성을 입증하기 위해.

제안 방법

• 프레임워크는 관련 작업의 분포에서 함수에 대한 사전 분포를 학습하는 확률적 메타학습 모델—특히 신경 프로세스—를 사용하여, 소수의 관측치로도 새로운 작업에 대한 빠른 적응을 가능하게 한다.
• 모델은 각 작업이 (x, y) 쌍인 컨텍스트 포인트로 구성된 관련 작업 데이터셋에서 훈련되며, 함수에 대한 사후 분포를 예측하도록 학습된다.
• 결정 문제에서는 탐색과 이용을 균형 잡기 위해 모델의 예측 분포에서 샘플링하는 톰슨 샘플링(Thompson sampling)을 사용하여 다음 행동을 선택한다.
• 목표 작업에 대해 관측된 함수 평가 수를 적게 사용하여 대체 모델을 미세 조정함으로써, 사전에 학습된 사전 분포를 활용해 샘플 효율성을 향상시킨다.
• 목표 함수를 추론할 잠재 함수로 간주하여 블랙박스 최적화를 지원하며, 모델의 예측 분산을 통해 불확실성을 정량화한다.
• 하이퍼파라미터 검색은 신경 프로세스 대체 모델을 사용한 베이지안 최적화로 수행되며, 미로와 에이전트 간 정규화를 위해 스케일링된 최소 보상 지표를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표준 베이스라인 대비 메타학습된 대체 모델이 순차적 결정 문제에서 샘플 복잡도를 크게 감소시킬 수 있는가?
• RQ2 로봇 제어, 추천 시스템, 악성 RL 공격 등 다양한 작업에 대해 단일 메타학습 모델이 얼마나 잘 일반화되는가?
• RQ3 확률적 메타학습 모델을 통한 캘리브레이션된 불확실성 통합이 베이지안 최적화 및 밴딧 문제에서 탐색과 수렴성 향상에 얼마나 기여하는가?
• RQ4 샘플 효율성과 불확실성 캘리브레이션 측면에서, 신경 프로세스 기반 대체 모델은 기존 모델(GP, DKL, BBB 등)과 비교해 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 미로 탐색이나 전체 상태 강화 학습 정책 탐색과 같은 복잡하고 고차원적인 결정 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 메타학습된 신경 프로세스 대체 모델은 베이지안 최적화 작업에서 최신 기술 성능을 달성하였으며, GP, DKL, BBB 등 기존 베이스라인 대비 수렴 속도와 샘플 효율성에서 뚜렷한 승리를 거두었다.
• 위치 탐색 작업에서는 표준 베이스라인 대비 최적 성능에 도달하기 위한 평가 횟수를 최대 50% 감소시켰으며, 200개의 미로에서 평균 스케일링된 최소 보상이 0.92를 기록했다.
• 전체 탐색 문제에서는 100회의 랜덤 시뮬레이션에서 평균 스케일링된 최소 보상이 0.88를 기록하여, 복잡하고 고차원적인 상태 공간으로의 강력한 일반화 능력을 입증했다.
• 프레임워크는 악성 공격에 대한 RL 에이전트 및 이질적인 로봇 암 제어 등 다양한 도메인에서 뛰어난 성능을 보였으며, 광범위한 적용 가능성을 시사했다.
• 신경 프로세스의 사용은 효과적인 불확실성 캘리브레이션을 가능하게 하여, 비확률적 또는 비메타학습 기반 모델보다 더 나은 탐색과 더 빠른 수렴을 이끌어냈다.
• 대체 모델을 통한 하이퍼파라미터 튜닝은 랜덤 또는 격자 탐색 대비 평가 횟수를 3~5배 감소시켰으며, 최적화 효율성의 타당성을 입증했다.