[논문 리뷰] Non-Stochastic Control with Bandit Feedback

Paula Gradu, John Hallman외 1명|arXiv (Cornell University)|2020. 08. 12.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 4

한 줄 요약

이 논문은 스칼라 손실 값만 관측 가능한 밴딧 피드백 환경에서 비스스토닉 제어를 위한 첫 번째 효율적인 하위선형 손실 알고리즘을 제안한다. 메모리가 있는 새로운 밴딧 볼록 최적화 방법을 도입함으로써 시간에 따라 변하는 손실 함수를 처리하고, 알려진 시스템과 알려지지 않은 시스템 모두에서 Õ(poly(natural-parameters)T^{3/4})의 손실을 달성한다.

ABSTRACT

We study the problem of controlling a linear dynamical system with adversarial perturbations where the only feedback available to the controller is the scalar loss, and the loss function itself is unknown. For this problem, with either a known or unknown system, we give an efficient sublinear regret algorithm. The main algorithmic difficulty is the dependence of the loss on past controls. To overcome this issue, we propose an efficient algorithm for the general setting of bandit convex optimization for loss functions with memory, which may be of independent interest.

연구 동기 및 목표

• 스칼라 밴딧 피드백만을 제공하는 환경에서 악성 외란과 알려지지 않은 손실 함수가 존재하는 선형 동적 시스템의 제어 문제를 다루기.
• 과거 제어 조작에 의존하는 시간에 따라 변하는 손실 함수로 인해 0차 도함수 피드백 환경에서의 기울기 추정이 복잡해지는 문제를 해결하기.
• 시스템 동역학이 알려지지 않은 상황에서도 비스스토닉 제어 프레임워크 내에서 하위선형 손실을 달성하는 효율적인 알고리즘 개발하기.
• 기존의 볼록 이완 및 시스템 식별 기법을 밴딧 피드백 환경에 확장하여 실세계 제어 응용 분야에 실용적으로 구현 가능하게 하기.
• 다양한 손실 함수와 노이즈 모델(상관관계가 있는 노이즈 및 i.i.d.가 아닌 외란 포함)에서 제안된 방법의 효과성 입증하기.

제안 방법

• 과거 상태와 제어 조작에 의존하는 손실 함수를 처리할 수 있도록 설계된, 메모리가 있는 새로운 밴딧 볼록 최적화 알고리즘 제안.
• 손실 함수의 시간 의존성을 분리하기 위해 인위적 지연 메커니즘 도입으로, 밴딧 피드백 환경에서 편향 없는 기울기 추정 가능하게 하기.
• 문헌 [4]의 볼록 이완 기법과 문헌 [16, 30]의 비스스토닉 시스템 식별 기법을 결합하여 실시간으로 시스템 동역학과 외란을 추정하기.
• 퍼티어베이션 기반 방법을 통해 추정된 기울기를 사용하는 기반 기반 최적화를 수행하며, 손실 함수의 메모리 영향을 고려하여 조정하기.
• 손실 함수의 메모리 특성을 반영한 밴딧 최적화 프레임워크를 고려한 간섭-행동 제어기(DAC)에 적용하며, 이는 과거 간섭을 통합한 선형 동적 제어기(LDC)의 일반화이다.
• 이중 단계 학습 프로세스를 구현: 먼저 알고리즘 3 또는 선형 회귀를 통해 온라인 추정을 통해 시스템 동역학을 식별하고, 그 다음 추정된 모델을 기반으로 제어 정책을 최적화하기.

실험 결과

연구 질문

• RQ1 스칼라 밴딧 피드백만 제공되는 환경에서 선형 시스템의 비스스토닉 제어에서 하위선형 손실을 달성할 수 있는가?
• RQ2 손실 함수가 과거 제어 조작에 의존하는(즉, 메모리가 있는) 밴딧 환경에서 기울기 추정을 어떻게 효과적으로 수행할 수 있는가?
• RQ3 제안된 알고리즘이 악성 외란과 알려지지 않은 시스템 동역학 하에서의 성능은 어떠한가?
• RQ4 i.i.d.가 아닌 노이즈 환경에서 전통적인 LQR 및 기울기 기반 정책 방법(GPC 등)과 비교해 볼 때 알고리즘의 성능은 어떠한가?
• RQ5 시스템 동역학이 사전에 알려지지 않았고 온라인으로 추정되어야 하는 상황에서도 손실 한계를 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 악성 외란과 밴딧 피드백 하에서 알려진 시스템과 알려지지 않은 선형 동적 시스템 모두에서 Õ(poly(natural-parameters)T^{3/4})의 손실을 달성한다.
• LQR가 최적성이 떨어지는 상관관계가 있는 노이즈 환경(예: 사인파 및 랜덤 워크 외란)에서는 기존의 선형 제곱제어기(LQR)보다 성능이 뛰어나다.
• 감쇠하는 학습률을 사용할 경우, i.i.d. 가우시안 노이즈 환경에서는 알고리즘이 LQR 해에 수렴함을 확인하여 안정성과 일관성을 입증한다.
• 메모리가 있는 밴딧 볼록 최적화 프레임워크 덕분에 0차 도함수 피드백 환경에서도 효과적인 학습이 가능해졌으며, 시간에 따라 변하는 손실 의존성 문제를 극복하였다.
• 알고리즘 3과 선형 회귀를 통한 시스템 식별은 모두 알려지지 않은 동역학 환경에서 안정적인 학습을 가능하게 하며, 실험 결과에서 알고리즘 3가 더 우수한 성능을 보였다.
• L2, L1, Linf, ReLU 등 다양한 손실 함수에서 알고리즘이 강력한 성능을 유지함을 입증하여, 비연속성 및 비제곱 비용에 대한 강건성을 입증하였다.