[논문 리뷰] Input Perturbations for Adaptive Regulation and Learning.

Mohamad Kazem Shirani Faradonbeh, Ambuj Tewari외 1명|arXiv (Cornell University)|2018. 11. 10.

Advanced Bandit Algorithms Research인용 수 12

한 줄 요약

이 논문은 MIMO 선형 시스템에서의 적응형 조정 및 추정을 위해 입력 신호의 편항을 활용한 편항된 그리디 정책을 제안하며, 시간에 대해 (거의) 제곱근 순서의 비점근적 손실 경계를 달성한다. 마링게일 이론과 정책 분해를 활용하여, 시스템 파ameters에 대한 사전 지식이 없이도 높은 확률로 손실과 학습 정확도의 경계를 확보함으로써, 기존의 계산적으로 비가능하거나 불안정한 방법의 한계를 극복한다.

ABSTRACT

Design of adaptive algorithms for simultaneous regulation and estimation of MIMO linear dynamical systems is a canonical reinforcement learning problem. Efficient policies whose regret (i.e. increase in the cost due to uncertainty) scales at a square-root rate of time have been studied extensively in the recent literature. Nevertheless, existing strategies are computationally intractable and require a priori knowledge of key system parameters. The only exception is a randomized Greedy regulator, for which asymptotic regret bounds have been recently established. However, randomized Greedy leads to probable fluctuations in the trajectory of the system, which renders its finite time regret suboptimal. This work addresses the above issues by designing policies that utilize input signals perturbations. We show that perturbed Greedy guarantees non-asymptotic regret bounds of (nearly) square-root magnitude w.r.t. time. More generally, we establish high probability bounds on both the regret and the learning accuracy under arbitrary input perturbations. The settings where Greedy attains the information theoretic lower bound of logarithmic regret are also discussed. To obtain the results, state-of-the-art tools from martingale theory together with the recently introduced method of policy decomposition are leveraged. Beside adaptive regulators, analysis of input perturbations captures key applications including remote sensing and distributed control.

연구 동기 및 목표

• MIMO 선형 시스템에 대한 기존 적응형 조정 알고리즘에서의 계산 비가용성과 시스템 파ameters에 대한 사전 지식 부족 문제를 해결하기 위해.
• 확률적 그리디 정책의 유한시간 손실 비최적성과 궤적의 진동 문제를 극복하기 위해.
• 임의의 입력 편항에 대해 손실과 학습 정확도에 대한 높은 확률 경계를 수립하기 위해.
• 그리디 정책이 정보이론적 로그 손실 하한선에 도달할 수 있는 조건을 분석하기 위해.
• 입력 편항 분석을 통해 원격 감지 및 분산 제어에까지 적용 가능성을 넓히기 위해.

제안 방법

• 탐색과 안정성을 향상시키기 위해 제어된 입력 편항을 주입하는 편항된 그리디 정책을 설계하기 위해.
• 최신 마링게일 이론을 적용하여 손실과 추정 오차에 대한 높은 확률 농도 경계를 유도하기 위해.
• 최근에 도입된 정책 분해 기법을 활용하여 탐색 및 이용 성분을 분리하기 위해.
• 손실과 학습 정확도 경계를 시간 T에 대해 (거의) √T 비례로 스케일링하는 수식을 구성하기 위해.
• 임의의 입력 편항이 시스템 궤적과 수렴 성질에 미치는 영향을 분석하기 위해.
• 그리디 정책이 정보이론적 로그 손실 하한선에 도달할 수 있는 조건을 수립하기 위해.

실험 결과

연구 질문

• RQ1 입력 편항을 활용하여 적응형 MIMO 조정에서 시간에 대해 √T 순서의 비점근적 손실 경계를 달성할 수 있는가?
• RQ2 임의의 입력 편항은 손실과 학습 정확도에 대한 높은 확률 경계에 어떻게 영향을 미치는가?
• RQ3 그리디 정책이 정보이론적 로그 손실 하한선에 도달할 수 있는 조건은 무엇인가?
• RQ4 제안된 방법은 시스템 파ameters에 대한 사전 지식 없이도 계산적으로 가용한가?
• RQ5 정책 분해와 마링게일 도구는 어떻게 끝내기 성능 보장을 도출하는 데 기여하는가?

주요 결과

• 편항된 그리디 정책은 시간에 대해 (거의) 제곱근 순서의 비점근적 손실 경계를 달성하여, 확률적 그리디 정책의 끝내기 비최적성보다 향상된 성능을 보인다.
• 임의의 입력 편항 조건 하에서도 손실과 학습 정확도에 대한 높은 확률 경계가 확립되어 강건한 성능을 보장한다.
• 기존의 대부분의 접근 방식과 달리, 이 방법은 계산적으로 가용하며 핵심 시스템 파ameters에 대한 사전 지식이 필요로 하지 않는다.
• 이론적 분석을 통해 특정 조건 하에서 그리디 정책이 정보이론적 로그 손실 하한선에 도달할 수 있음을 확인한다.
• 이 프레임워크는 적응형 제어를 넘어서 원격 감지 및 분산 제어 시스템 등에까지 적용 가능하다.
• 정책 분해와 마링게일 이론의 통합은 적응형 조정에 대해 날카운 유한시간 성능 보장을 가능하게 한다.