[논문 리뷰] Accelerated Learning with Robustness to Adversarial Regressors

Joseph E. Gaudio, Anuradha M. Annaswamy외 3명|arXiv (Cornell University)|2020. 05. 04.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 12

한 줄 요약

이 논문은 적응 제어 이론과 볼록 최적화 통찰을 융합하여 시간에 따라 변하는 악성 회귀자 조건 하에서도 가속화된 학습과 안정성 보장을 동시에 달성하는 새로운 이산 시간 파라미터 갱신 알고리즘을 제안한다. 정수 회귀자 조건에서는 $\tilde{\mathcal{O}}(1/\sqrt{\epsilon})$ 수렴 속도를 확보하며, 이는 네스테로프의 하한과 일치한다. 또한 임의의 시간에 따라 변하는 회귀자 조건에서도 안정성을 보장한다.

ABSTRACT

High order momentum-based parameter update algorithms have seen widespread applications in training machine learning models. Recently, connections with variational approaches have led to the derivation of new learning algorithms with accelerated learning guarantees. Such methods however, have only considered the case of static regressors. There is a significant need for parameter update algorithms which can be proven stable in the presence of adversarial time-varying regressors, as is commonplace in control theory. In this paper, we propose a new discrete time algorithm which 1) provides stability and asymptotic convergence guarantees in the presence of adversarial regressors by leveraging insights from adaptive control theory and 2) provides non-asymptotic accelerated learning guarantees leveraging insights from convex optimization. In particular, our algorithm reaches an $ε$ sub-optimal point in at most $ ilde{\mathcal{O}}(1/\sqrtε)$ iterations when regressors are constant - matching lower bounds due to Nesterov of $Ω(1/\sqrtε)$, up to a $\log(1/ε)$ factor and provides guaranteed bounds for stability when regressors are time-varying. We provide numerical experiments for a variant of Nesterov's provably hard convex optimization problem with time-varying regressors, as well as the problem of recovering an image with a time-varying blur and noise using streaming data.

연구 동기 및 목표

• 제어 이론과 온라인 학습에서 흔히 발생하는 시간에 따라 변하거나 악성인 회귀자 조건에서 가속화 학습 알고리즘의 안정성 보장이 부족한 문제를 해결한다.
• 이전에는 정적 회귀자에 국한되어 있던 가속화 학습 방법을 동적이고 i.i.d.가 아닌 입력 조건을 가진 실제 응용 분야로 확장한다.
• 정수 회귀자 조건과 시간에 따라 변하는 회귀자 조건 하에서 이론적 수렴성과 안정성 보장을 제공한다.
• 빠른 수렴 속도를 유지하면서도 입력 변화에 강건한 실용적이고 구현 가능한 이산 시간 알고리즘을 설계한다.
• 스트리밍 데이터를 사용한 시간에 따라 변하는 블러와 노이즈가 있는 이미지 복원 문제와 같은 도전적인 문제에서의 유효성을 입증한다.

제안 방법

• 고차원 튜너 메커니즘을 통해 적응 제어 이론의 통찰을 활용하여, 악성인 시간에 따라 변하는 회귀자 조건 하에서도 안정성을 확보한다.
• 변분 최적화 원리를 통합하여 가속화된 수렴을 달성하며, 네스테로프의 하한 $\Omega(1/\sqrt{\epsilon})$ 에 $\log(1/\epsilon)$ 요소까지 일치시킨다.
• 세 가지 핵심 변수를 포함한 이산 시간 알고리즘을 제안한다: $\theta_k$ (파라미터 추정치), $\nu_{k+1}$ (모멘타ム 기반 갱신), $\vartheta_k$ (적응을 위한 보조 상태).
• 정규화 항 $\mu(\theta_k - \theta_0)$ 와 $\mathcal{N}_k = \|\phi_k\|^2_2$ 를 통한 업데이트 정규화를 통해 변화하는 회귀자 노름 조건 하에서도 학습을 안정화한다.
• 시간에 따라 변하는 학습률 $\bar{\alpha}$ 와 $\beta$ 및 $\mu$ 에 기반한 적응형 스텝 사이즈 $\gamma$ 를 도입하여 동적 조건 하에서도 수렴을 보장한다.
• 이중 단계 갱신 전략을 적용한다: 먼저 $\phi_k(\phi_k^T\theta_k - y_k)$ 를 이용한 기울기 유사 보정을 수행하고, 이후 $\beta$ 와 $\gamma$ 를 활용한 모멘타움 기반 갱신을 수행한다.

실험 결과

연구 질문

• RQ1 제어 이론과 온라인 학습에서 흔히 발생하는 시간에 따라 변하거나 악성인 회귀자 조건 하에서도 가속화된 학습을 보장할 수 있는가?
• RQ2 회귀자가 정적일 수 없는 조건에서 가속화 최적화 방법의 안정성을 어떻게 공식적으로 증명할 수 있는가?
• RQ3 동적 회귀자 조건 하에서도 네스테로프 스타일 최적화 방법의 수렴 속도를 어느 정도 유지할 수 있는가?
• RQ4 시간에 따라 변하는 환경에서 빠른 수렴과 강건성을 동시에 확보하기 위한 하이퍼파rameter 조정 전략은 무엇인가?
• RQ5 실제 스트리밍 문제인 시간에 따라 변하는 블러가 있는 이미지 복원 문제에서 제안된 방법이 표준 기울기 하강법과 네스테로프 가속화 방법보다 어떻게 비교되는가?

주요 결과

• 정수 회귀자 조건 하에서 제안된 알고리즘은 $\tilde{\mathcal{O}}(1/\sqrt{\epsilon})$ 수렴 속도를 확보하며, 네스테로프의 하한 $\Omega(1/\sqrt{\epsilon})$ 와 $\log(1/\epsilon)$ 요소까지 일치한다.
• 적응 제어 이론에 기반한 정규화 및 정규화를 통해 임의의 시간에 따라 변하는 회귀자 조건 하에서도 안정성이 보장된다.
• 시간에 따라 변하는 블러 조건 하에서의 이미지 복원 문제에서, 고차원 튜너는 표준 네스테로프 방법과 기울기 하강법보다 손실 감소와 이미지 복원 품질 측면에서 뛰어난 성능을 보인다.
• 노이즈가 추가된 경우 ($N(0, 0.02)$), $\mu = 0.1$ 인 튜너가 $\mu = 0$ 인 경우보다 훨씬 우수한 복원 성능을 보인다.
• 추가로 $l_1$ 정규화 항을 적용하면 성능 향상이 더 커지나, 이 경우의 이론적 분석은 아직 열려 있다.
• 정현파 형태로 변화하는 블러 강도 조건을 포함한 모든 시간에 따라 변하는 회귀자 시나리오에서 알고리즘이 안정성을 유지하는 반면, 기준 방법들은 발산한다.