[논문 리뷰] Regret Bounds for LQ Adaptive Control Under Database Attacks (Extended Version)

Jafar Abbaszadeh Chekan, Cédric Langbort|arXiv (Cornell University)|2020. 04. 01.

Advanced Control Systems Optimization인용 수 4

한 줄 요약

이 논문은 데이터베이스 공격으로 인해 학습 데이터가 오염되는 상황에서 온라인 최소 제곱법 추정을 위한 자기 수정형 신뢰집합 조정 방법을 제안한다. 악성 데이터 주입을 고려하여 매개변수 추정 절차를 수정함으로써, 공격 하에서도 하위선형의 손실 $\mathcal{O}((\Lambda\sqrt{N_{ab}})^p\sqrt{T})$ 를 달성하여 학습 데이터가 손상된 경우에도 강건한 성능을 보장한다.

ABSTRACT

This paper is concerned with understanding and countering the effects of database attacks on a learning-based linear quadratic adaptive controller. This attack targets neither sensors nor actuators, but just poisons the learning algorithm and parameter estimator that is part of the regulation scheme. We focus on the adaptive optimal control algorithm introduced by Abbasi-Yadkori and Szepesvari and provide regret analysis in the presence of attacks as well as modifications that mitigate their effects. A core step of this algorithm is the self-regularized on-line least squares estimation, which determines a tight confidence set around the true parameters of the system with high probability. In the absence of malicious data injection, this set provides an appropriate estimate of parameters for the aim of control design. However, in the presence of attack, this confidence set is not reliable anymore. Hence, we first tackle the question of how to adjust the confidence set so that it can compensate for the effect of the poisonous data. Then, we quantify the deleterious effect of this type of attack on the optimality of control policy by bounding regret of the closed-loop system under attack.

연구 동기 및 목표

• 학습 데이터가 저장된 후 사용 전에 오염되는 데이터베이스 공격이 학습 기반 LQ 적응 제어기의 성능에 미치는 영향을 분석한다.
• 이러한 공격가 학습 기반의 자기 정규화된 온라인 최소 제곱법 추정과 그에 따른 신뢰집합의 신뢰성에 어떻게 악영향을 미치는지 규명한다.
• 데이터 오염 상황에서도 정확한 매개변수 추정과 제어 성능을 유지할 수 있도록 수정된 추정 절차를 개발한다.
• 공격 하에서 닫힌 루프 시스템의 손실 한계를 수립하여 성능 저하와 복구 정도를 정량화한다.
• 시뮬레이션을 통해 제안된 방법이 공격 상황에서도 진짜 값에 가까운 매개변수 추정을 유지하고 하위선형 손실을 달성함을 보여주며, 단순한 접근 방식과의 대비를 제시한다.

제안 방법

• 데이터베이스 내 악성 데이터 주입 가능성을 고려하여 자기 정규화된 온라인 최소 제곱법 추정기를 수정하여, 신뢰집합을 구성한다.
• 악성 데이터의 영향을 줄이기 위해 동적으로 조정되는 수정된 신뢰집합을 도입하여 강건한 매개변수 추정을 보장한다.
• 수정된 신뢰집합 내에서 OFU(불확실성에 대한 낙관주의) 최적화 문제를 해결하기 위해 투영된 경사하강법을 사용한다.
• 매개변수 추정 과정에서 수렴을 보장하기 위해 적응형 스텝 사이즈 $\gamma = \sqrt{0.001 / \mathrm{Tr}(V_t)}$ 를 적용한다.
• 주 학습 단계 이전의 초기 안정성을 향상시키기 위해 단위 구에서 50회의 초기 탐색 동작을 적용한다.
• 실제 데이터 주입 패턴을 반영하기 위해 시뮬레이션에서 마팅게일 차수 유형의 공격 모델을 구현한다.

실험 결과

연구 질문

• RQ1 데이터베이스 데이터 오염은 온라인 LQ 적응 제어기의 성능과 매개변수 추정 신뢰성에 어떤 영향을 미치는가?
• RQ2 수정된 신뢰집합 구성 방식이 자기 정규화된 최소 제곱법 추정에서 오염된 데이터의 영향을 완화할 수 있는가?
• RQ3 수정된 추정 절차를 사용할 경우 데이터베이스 공격 상황에서 닫힌 루프 시스템에 대해 어떤 손실 한계를 설정할 수 있는가?
• RQ4 제안된 자기 수정 알고리즘은 데이터 오염을 무시하는 단순 알고리즘과 비교해 매개변수 추정과 손실 측면에서 어떻게 다를까?
• RQ5 수정된 알고리즘이 공격 상황에서 하위선형 손실을 달성하기 위한 조건은 무엇인가?

주요 결과

• 표준 신뢰집합에 의존하는 단순 알고리즘은 그림 2에서 보듯이 데이터 오염 상황에서도 정확한 매개변수 추정을 유지하지 못한다.
• 자기 수정 알고리즘은 지속적인 데이터베이스 공격 상황에서도 진짜 시스템 매개변수에 가까운 매개변수 추정을 성공적으로 유지한다. 그림 3에서 이를 확인할 수 있다.
• 공격 하에서의 손실은 $\mathcal{O}((\Lambda\sqrt{N_{ab}})^p\sqrt{T})$ 로 한정되며, $p < 2 + 2(n+m+1)$ 이므로 데이터 오염 상황에서도 하위선형 성장이 유지된다.
• 특수한 경우 $N_{ab} = T$ 에서는 손실이 $\mathcal{O}(\Lambda^p T^{p+1/2})$ 로 스케일링되며, $p < 2$ 이면 여전히 하위선형이다.
• 자기 수정 알고리즘은 공격이 없는 경우 $\mathcal{O}(\sqrt{T})$ 의 손실을 달성하여 원래 알고리즘의 최적 성능를 그대로 유지한다.
• 그림 4의 시뮬레이션 결과는 자기 수정 알고리즘이 공격 상황에서도 하위선형 손실을 유지하는 반면, 단순 알고리즘은 무한대의 손실 증가를 보임을 확인한다.