[논문 리뷰] No-Regret Prediction in Marginally Stable Systems

Udaya Ghai, Holden Lee외 3명|arXiv (Cornell University)|2020. 02. 06.

Advanced Bandit Algorithms Research참고 문헌 39인용 수 5

한 줄 요약

이 논문은 적대적 또는 비등방성 확률적 교란이 존재하는 경우, 표준 매개수 복원이 실패하는 경계적으로 안정된 선형 동적 시스템에서 온라인 최소 제곱 예측에 대해 비선형적 손실을 확립한다. 다항수준 성장 조건 하에서도 현재 상태가 과거 상태의 작은 선형 조합임을 보여주는 구조적 부피 두배화 보조정리(lemma)를 도입함으로써, 저자들은 다항식적으로 유계인 손실을 달성하며, 이는 확률적 경우에서는 다중로그형으로 향상되고, 부분 관측된 가우시안 설정에서는 로그형으로 향상된다.

ABSTRACT

We consider the problem of online prediction in a marginally stable linear dynamical system subject to bounded adversarial or (non-isotropic) stochastic perturbations. This poses two challenges. Firstly, the system is in general unidentifiable, so recent and classical results on parameter recovery do not apply. Secondly, because we allow the system to be marginally stable, the state can grow polynomially with time; this causes standard regret bounds in online convex optimization to be vacuous. In spite of these challenges, we show that the online least-squares algorithm achieves sublinear regret (improvable to polylogarithmic in the stochastic setting), with polynomial dependence on the system's parameters. This requires a refined regret analysis, including a structural lemma showing the current state of the system to be a small linear combination of past states, even if the state grows polynomially. By applying our techniques to learning an autoregressive filter, we also achieve logarithmic regret in the partially observed setting under Gaussian noise, with polynomial dependence on the memory of the associated Kalman filter.

연구 동기 및 목표

• 적대적 또는 비등방성 노이즈로 인해 시스템 매개수가 식별 불가능한 온라인 예측 문제를 해결하기 위해.
• 상태가 시간에 따라 다항식적으로 증가할 경우, 표준 온라인 볼록 최적화 손실 경계가 의미를 잃는 문제를 극복하기 위해.
• 식별 불가능한 시스템과 다항식 상태 성장 조건 하에서도 온라인 최소 제곱이 비선형 손실을 달성할 수 있음을 보여주기 위해.
• 부분 관측 설정에서 가우시안 노이즈가 존재할 경우, 칼만 필터 메모리에 대한 다항식 의존성만을 갖는 로그형 손실을 달성하기 위해.
• 현재 상태가 과거 상태의 작은 선형 조합임을 보여주는 구조적 보조정리를 개발하기 위해.

제안 방법

• 현재 상태 $x_t$가 다항식 성장 조건 하에서도 과거 상태의 작은 선형 조합으로 표현될 수 있음을 보여주는 구조적 부피 두배화 보조정리(lemma)를 도입한다.
• 최악의 경우 경계를 대체로 마링갈 기반의 추론을 사용하는 정교한 손실 분석을 적용하여, 확률적 설정에서 다중로그형 손실을 달성한다.
• 부분 관측 시스템에 대해 자동회귀 필터 방법을 적용하고, 칼만 필터 메모리의 특성을 활용하여 손실를 유계로 제한한다.
• 장기적 의존성과 오차 전파를 제어하기 위해 재귀 관계식 $x_t = A^k x_{t-k} + \tilde{\theta}_t$ 를 수립한다.
• 행렬 분해 $A = V D V^{-1}$ 를 사용하여 $A$의 거듭제곱의 노름을 유계로 제한함으로써, 시스템 매개수에 대한 다항식 의존성을 확보한다.
• 상태 재구성 오차를 제어하기 위해 $x_t$ 가 과거 노이즈 항의 선형 조합임을 활용하고, 계수들이 시스템 매개수에 의해 유계임을 이용한다.

실험 결과

연구 질문

• RQ1 적대적 교란이 존재하는 경계적으로 안정된 선형 시스템에서, 식별 불가능성과 다항식 상태 성장 조건이 존재하더라도 온라인 최소 제곱이 비선형 손실을 달성할 수 있는가?
• RQ2 비등방성 노이즈 또는 매개수 복원이 없는 조건에서도, 확률적 설정에서 손실 경계가 다중로그형으로 향상되는가?
• RQ3 가우시안 노이즈 하에서 부분 관측 설정에서 칼만 필터의 메모리에만 의존하는 로그형 손실을 달성할 수 있는가?
• RQ4 특히 대각화 가능 케이스에서, 경계적으로 안정된 시스템에 대해 $T^{(2r+1)/(2r+2)}$ 손실 속도가 최적인가?
• RQ5 시스템 차수 $d$ 에 따라 손실 경계를 표현할 수 있는가, 이는 롤아웃 길이 $\ell$ 가 아닌 시스템의 본질적 복잡도를 반영하기 위함이다?

주요 결과

• 온라인 최소 제곱 알고리즘은 적대적 교란 하에서 경계적으로 안정된 선형 시스템에서 다항식 매개수 의존성과 함께 비선형 손실 $O(T^{(2r+1)/(2r+2)})$ 을 달성한다.
• 확률적 설정에서는 손실 경계가 다중로그형 $\text{polylog}(T)$ 로 향상되며, 매개수 수렴 여부와 무관하다.
• 가우시안 노이즈가 존재하는 부분 관측 시스템에서는 로그형 손실 $O(\log T)$ 를 달성하며, 칼만 필터의 롤아웃 길이 $\ell$ 에 대한 다항식 의존성이 있다.
• 구조적 부피 두배화 보조정리는 $x_t$ 가 과거 상태의 작은 선형 조합임을 보여주며, 다항식 성장 조건 하에서도 더 엄격한 손실 제어를 가능하게 한다.
• 매개수 복원이나 시스템 식별 가능성에 의존하지 않아, 모델 잘못 지정이나 비등방성 노이즈에 대해 강건하다.
• 비가우시안 노이즈의 경우 잔차를 적대적 요소로 간주함으로써 $T^{(2r+1)/(2r+2)}$ 손실 경계를 확보할 수 있으나, 이러한 경우에 대해 다중로그형 손실 경계는 여전히 열려있다.