[논문 리뷰] Information Theoretic Regret Bounds for Online Nonlinear Control.

Sham M. Kakade, Akshay Krishnamurthy외 3명|arXiv (Cornell University)|2020. 10. 01.

Advanced Bandit Algorithms Research인용 수 13

한 줄 요약

이 논문은 알려진 Reproducing Kernel Hilbert Space (RKHS)에 속하는 함수로 모델링된 미지의 동적 시스템에서 온라인 비선형 제어를 위한 Lower Confidence-based Continuous Control (LC3) 알고리즘을 제안한다. 이 알고리즘은 체계 차원에 의존하지 않는 near-optimal O(√T)의 손실 한계를 달성하며, 정보 이론적 양을 기반으로 하여 비선형 제어 과제에서 효과적인 탐색을 통해 학습을 향상시킨다.

ABSTRACT

This work studies the problem of sequential control in an unknown, nonlinear dynamical system, where we model the underlying system dynamics as an unknown function in a known Reproducing Kernel Hilbert Space. This framework yields a general setting that permits discrete and continuous control inputs as well as non-smooth, non-differentiable dynamics. Our main result, the Lower Confidence-based Continuous Control (LC3) algorithm, enjoys a near-optimal O(\sqrt{T}) regret bound against the optimal controller in episodic settings, where T is the number of episodes. The bound has no explicit dependence on dimension of the system dynamics, which could be infinite, but instead only depends on information theoretic quantities. We empirically show its application to a number of nonlinear control tasks and demonstrate the benefit of exploration for learning model dynamics.

연구 동기 및 목표

• 알려진 Reproducing Kernel Hilbert Space (RKHS)에 속하는 함수로 모델링된, 알려지지 않은 비선형 동적 시스템에서 온라인 제어 문제를 해결하기 위해.
• 비연속적이고 미분 불가능한 동적 특성을 가진 환경에서도 에피소드 설정에서 near-optimal 손실을 달성하는 제어 알고리즘을 개발하기 위해.
• 체계 차원에 대한 명시적 의존성을 제거하기 위해 정보 이론적 양을 활용함으로써 손실 한계에서의 차원 의존성을 제거하기 위해.
• 복잡한 비선형 시스템 동역학을 학습하는 데 있어 탐색 전략의 효과성을 실증적으로 검증하기 위해.

제안 방법

• 알려진 Reproducing Kernel Hilbert Space (RKHS)에 속하는 알려지지 않은 함수로 미지의 시스템 동역학을 모델링하여, 비선형성과 비연속성에 대한 탄력적인 표현을 가능하게 한다.
• 순차적 제어 결정에서 탐색과 이용의 균형을 이루기 위해 하한 신뢰도 기반 기반의 LC3 알고리즘을 설계한다.
• 관측치와 시스템 동역학 간의 상호정보량과 같은 정보 이론적 양을 기반으로 손실 한계를 유도한다.
• 시스템 동역학의 차원이 무한할 경우조차도 손실 한계가 O(√T)로 스케일링되도록 보장한다.
• 불확실한 영역을 적극적으로 탐색함으로써 모델 학습을 향상시키는 탐색 전략을 통합한다.
• 다양한 비선형 제어 과제에 알고리즘을 적용하여 그 효과성을 실증적으로 입증한다.

실험 결과

연구 질문

• RQ1 체계 차원에 대한 명시적 의존성이 없이 온라인 비선형 제어에서 near-optimal 손실을 달성할 수 있는가?
• RQ2 정보 이론적 양은 알려지지 않은 비선형 동적 시스템에서 손실를 제한하는 데 어떻게 활용될 수 있는가?
• RQ3 비연속적이거나 비미분 가능한 시스템에서 정확한 동역학 학습에 있어 구조화된 탐색 전략의 역할은 무엇인가?
• RQ4 커널 기반 함수 공간 모델은 복잡한 비선형 동역학을 효과적으로 표현하면서도 효율적인 제어를 가능하게 하는가?

주요 결과

• LC3 알고리즘은 O(√T)의 손실 한계를 달성하며, 이는 에피소드 기반 온라인 제어 설정에서 near-optimal이다.
• 손실 한계는 시스템 동역학의 차원에 대해 명시적인 의존성이 없으며, 무한차원 RKHS의 경우에도 허용된다.
• 손실 한계는 상호정보량과 같은 정보 이론적 양을 기반으로 유도되었으며, 이는 시스템 동역학의 불확실성을 반영한다.
• 실증 결과에 따르면 LC3의 탐색 전략이 비선형 시스템 동역학 학습을 크게 향상시킨다.
• 이 프레임워크는 이산적 및 연속적 제어 입력을 모두 처리할 수 있으며, 비연속적이거나 비미분 가능한 동역학도 효과적으로 다룰 수 있다.