[논문 리뷰] PAC-Bayes Control: Synthesizing Controllers that Provably Generalize to Novel Environments

Anirudha Majumdar, Maxwell Goldstein|arXiv (Cornell University)|2018. 06. 11.

Machine Learning and Algorithms인용 수 15

한 줄 요약

이 논문은 깊이 센서를 사용한 시뮬레이션된 장애물 회피 작업에서 새로운 환경으로의 일반화 성능을 보장하는 로봇 제어기를 합성하는 데에 PAC-Bayes 프레임워크를 활용한 'PAC-Bayes Control'을 제안한다. 이 방법은 일반화 오차의 경계를 최소화하는 최적화 문제로 제어기 합성을 공식화하며, 볼록 최적화 또는 확률적 경사 하강법을 사용하여 이를 해결한다.

ABSTRACT

Our goal is to synthesize controllers for robots that provably generalize well to novel environments given a dataset of example environments. The key technical idea behind our approach is to leverage tools from generalization theory in machine learning by exploiting a precise analogy (which we present in the form of a reduction) between robustness of controllers to novel environments and generalization of hypotheses in supervised learning. In particular, we utilize the Probably Approximately Correct (PAC)-Bayes framework, which allows us to obtain upper bounds (that hold with high probability) on the expected cost of (stochastic) controllers across novel environments. We propose control synthesis algorithms that explicitly seek to minimize this upper bound. The corresponding optimization problem can be solved using convex optimization (Relative Entropy Programming in particular) in the setting where we are optimizing over a finite control policy space. In the more general setting of continuously parameterized controllers, we minimize this upper bound using stochastic gradient descent. We present examples of our approach in the context of obstacle avoidance control with depth measurements. Our simulated examples demonstrate the potential of our approach to provide strong generalization guarantees on controllers for robotic systems with continuous state and action spaces, complicated (e.g., nonlinear) dynamics, and rich sensory inputs (e.g., depth measurements).

연구 동기 및 목표

• 예시 환경에서의 데이터를 사용하여 새로운 환경으로의 일반화 성능가치를 보장하는 제어기 합성 방법을 개발한다.
• 형식적 감소를 통해 제어의 안정성과 지도 학습의 일반화를 연결한다.
• PAC-Bayes 프레임워크를 사용하여 새로운 환경에서의 제어기 비용 기대값에 대한 고확률 상한을 유도한다.
• 이러한 일반화 경계를 최소화하는 최적화 기반의 제어기 합성 알고리즘을 설계한다.
• 연속 상태, 행동, 비선형 역학, 깊이 측정과 같은 풍부한 감각 입력을 포함한 로봇 제어 과제에서 접근법을 평가한다.

제안 방법

• 제어기의 새로운 환경에 대한 강건성과 지도 학습의 일반화 사이의 감소를 수립한다.
• PAC-Bayes 프레임워크를 적용하여 새로운 환경에서의 스토하스틱 제어기 비용 기대값에 대한 고확률 상한을 도출한다.
• 유한한 정책 공간의 경우 최적화 문제를 볼록 최적화를 통해 해결하며, 특히 상대 엔트로피 프로그래밍을 사용한다.
• 연속적으로 파arameter화된 제어기의 경우 일반화 경계를 최소화하기 위해 확률적 경사 하강법을 사용한다.
• 제어기를 스토하스틱 가설로 간주하고, 예시 환경에서의 데이터를 활용하여 일반화 제약 조건 하에 학습시킨다.
• 이 프레임워크는 시뮬레이션에서 깊이 측정을 사용한 장애물 회피 과제에 적용된다.

실험 결과

연구 질문

• RQ1 일반화 이론을 사용하여 새로운 환경에서의 제어기 비용 기대값을 형식적으로 경계할 수 있는가?
• RQ2 실제로 이러한 일반화 경계를 최소화하는 제어기를 어떻게 합성할 수 있는가?
• RQ3 제안된 방법이 복잡한 로봇 과제에서 새로운 환경으로의 일반화 성능를 잘 보장하는가?
• RQ4 비선형 역학과 풍부한 감각 입력이 있는 환경에서 이 방법의 성능는 어떠한가?
• RQ5 이산적 및 연속적 제어기 파arameter화 모두에 대해 최적화 문제를 효율적으로 해결할 수 있는가?

주요 결과

• PAC-Bayes 프레임워크를 통해 새로운 환경에서의 제어기 비용 기대값에 대한 고확률 상한을 도출할 수 있다.
• 제안된 합성 알고리즘이 이 경계를 효과적으로 최소화하여 보장된 일반화 성능을 갖는 제어기를 도출한다.
• 유한한 정책 공간의 경우, 볼록 최적화(상대 엔트로피 프로그래밍)를 사용하여 최적화 문제를 효율적으로 해결한다.
• 연속적인 파arameter화의 경우, 확률적 경사 하강법이 일반화 경계를 효과적으로 최소화한다.
• 시뮬레이션 결과는 깊이 측정을 사용한 장애물 회피 과제에서 뛰어난 일반화 성능를 보여준다.
• 이 접근법은 연속 상태 및 행동 공간, 비선형 역학을 갖는 시스템에 적용 가능하다.