[논문 리뷰] Safe Exploration for Interactive Machine Learning

Matteo Turchetta, Felix Berkenkamp외 1명|arXiv (Cornell University)|2019. 10. 30.

Data Stream Mining Techniques인용 수 25

한 줄 요약

이 논문은 기존의 상호작용 기반 기계학습(IML) 알고리즘을 효율적으로 안전성 검증을 통해 개선하는 GoOSE라는 안전 탐색 프레임워크를 소개한다. 가우시안 프로세스 사전분포를 활용해 제안된 결정의 안전성을 검증함으로써, 연속성에 기반해 안전성과 관련된 영역에만 집중함으로써, 이전 방법들에 비해 데이터 효율성을 크게 향상시키면서도 증명 가능한 안전 탐색을 보장한다.

ABSTRACT

In Interactive Machine Learning (IML), we iteratively make decisions and obtain noisy observations of an unknown function. While IML methods, e.g., Bayesian optimization and active learning, have been successful in applications, on real-world systems they must provably avoid unsafe decisions. To this end, safe IML algorithms must carefully learn about a priori unknown constraints without making unsafe decisions. Existing algorithms for this problem learn about the safety of all decisions to ensure convergence. This is sample-inefficient, as it explores decisions that are not relevant for the original IML objective. In this paper, we introduce a novel framework that renders any existing unsafe IML algorithm safe. Our method works as an add-on that takes suggested decisions as input and exploits regularity assumptions in terms of a Gaussian process prior in order to efficiently learn about their safety. As a result, we only explore the safe set when necessary for the IML problem. We apply our framework to safe Bayesian optimization and to safe exploration in deterministic Markov Decision Processes (MDP), which have been analyzed separately before. Our method outperforms other algorithms empirically.

연구 동기 및 목표

• 안전 제약이 사전에 알려져 있지 않으며 학습 과정에서 이를 위반해서는 안 되는 상호작용 기반 기계학습(IML)에서의 안전 탐색 문제를 해결하기 위해.
• 기존의 안전한 IML 알고리즘에서 흔히 발생하는 전체 안전 영역을 무분별하게 탐색하는 것을 방지함으로써 데이터 효율성을 향상시키기 위해.
• 기존의 핵심 최적화 과정을 수정하지 않고도 어떤 기존의 안전하지 않은 IML 알고리즘을 증명 가능한 안전성으로 변환할 수 있는 일반적인 목적의 추가 프레임워크를 개발하기 위해.
• 탐색이 목표 지향적이어야 하며, 안전 영역을 확장하는 것을 보조 목표로 삼는 것이 아니라 원래 IML 목표와 관련된 결정들에만 집중해야 한다는 점을 보장하기 위해.

제안 방법

• 프레임워크는 기존 IML 알고리즘이 제안한 결정을 입력으로 받으며, 이는 안전하지 않을 수 있다.
• 연속성과 부드러움 가정을 활용하기 위해 안전 제약 함수를 모델링하기 위해 가우시안 프로세스(GP) 사전분포를 사용한다.
• 제안된 결정이 안전할 가능성이 높은 영역, 즉 낙관적인 안전 영역을 식별한다.
• 이 영역 내에서 제안된 결정과의 관련성과 불확실성의 균형을 고려한 히우리스틱을 사용해 정보성 높은 학습 타겟을 선택한다.
• 비관적인 안전 영역 내에서만 안전 평가를 수행함으로써 학습 과정 중에 안전하지 않은 동작가 발생하지 않도록 보장한다.
• 이 방법은 고확률로 학습 도중 취해지는 모든 동작가 안전함을 보장하며, 원래 IML 제안 결정의 안전성에 대해 학습한다.

실험 결과

연구 질문

• RQ1 기존 IML 목표와 관련된 결정의 안전성에 대해서만 학습하는 안전 탐색 프레임워크를 설계할 수 있는가? 전체 안전 영역을 확장하는 대신.
• RQ2 안전하지 않은 IML 알고리즘이 제안한 특정 결정의 안전성을 효율적으로 학습하면서도 안전하지 않은 평가가 발생하지 않도록 보장할 수 있는가?
• RQ3 가우시안 프로세스 기반의 정규성 가정을 활용함으로써, 균일 탐색이나 경계 기반 탐색 대비 데이터 효율성이 얼마나 향상될 수 있는가?
• RQ4 기존 IML 알고리즘의 핵심 최적화 논리에 영향을 주지 않고도 어떤 기존 알고리즘에도 안전하게 추가할 수 있는 일반 목적의 프레임워크를 설계할 수 있는가?

주요 결과

• 합성 격자 세계 실험에서 GoOSE는 SMDP 기준선 대비 표본 복잡도를 2.5배 감소시켰다.
• 화성 탐사로봇 시뮬레이션 실험에서 GoOSE는 안전 보장을 갖지 못하는 SEO와 유사한 성능을 달성했지만, 증명 가능한 안전성을 제공한다.
• GoOSE의 히우리스틱에 따른 계산 오버헤드는 무시할 만큼 작으며, 반면 SEO의 해결 과정은 계산적으로 매우 비용이 많이 든다.
• GoOSE는 전체 안전 영역을 무분별하게 탐색하는 것을 피함으로써 StageOPT와 SafeOPT에 비해 표본 효율성에서 뛰어난 성능을 보였다.
• 합성 및 실제 화성 탐사 작업 모두에서 GoOSE는 SMDP에 비해 기하 평균 성능 향상을 달성했으며, 더 큰 환경에서는 더 큰 향상 폭을 기록했다.