[논문 리뷰] TAdam: A Robust Stochastic Gradient Optimizer

Wendyam Eric Lionel Ilboudo, Taisuke Kobayashi외 1명|arXiv (Cornell University)|2020. 02. 29.

Machine Learning and Data Classification참고 문헌 33인용 수 7

한 줄 요약

TAdam은 Adam의 적응형 모멘텀 추정을 스튜던트-t 분포 기반 방법으로 대체함으로써 노이즈가 많은 데이터에서 회귀, 분류, 강화학습 작업 전반에 걸쳐 성능을 크게 향상시키는 강건한 확률적 경사하강 최적화 방법이다. 이 방법은 무거운 尾를 가진 경사 모델링을 통해 이상치를 가중치를 낮춰 더 나은 수렴성과 강건성을 달성한다.

ABSTRACT

Machine learning algorithms aim to find patterns from observations, which may include some noise, especially in robotics domain. To perform well even with such noise, we expect them to be able to detect outliers and discard them when needed. We therefore propose a new stochastic gradient optimization method, whose robustness is directly built in the algorithm, using the robust student-t distribution as its core idea. Adam, the popular optimization method, is modified with our method and the resultant optimizer, so-called TAdam, is shown to effectively outperform Adam in terms of robustness against noise on diverse task, ranging from regression and classification to reinforcement learning problems. The implementation of our algorithm can be found at https://github.com/Mahoumaru/TAdam.git

연구 동기 및 목표

• 로봇 공학에서 센서 데이터가 본질적으로 노이즈가 많기 때문에, 기계학습에서 노이즈가 많거나 이상치가 발생하기 쉬운 경사하강에 민감한 Adam 및 기타 일阶 최적화 방법의 문제를 해결하기 위해.
• 외부 노이즈 모델링이나 데이터 필터링이 필요 없이 이상치 경사를 자동으로 탐지하고 가중치를 낮추는 강건한 최적화 방법을 개발하기 위해.
• 스튜던트-t 분포 기반의 강건한, 두꺼운 尾를 가진 추정 방법으로 Adam의 표준 적응형 모멘텀을 대체하여 딥러닝에서 수렴성과 일반화 성능을 향상시키기 위해.
• 비 i.i.d. 및 두꺼운 尾를 가진 경사 가정 하에 이론적으로 제안된 방법의 강건성을 증명하기 위해, 손실 한계 분석을 수행하기 위해.

제안 방법

• TAdam은 경사의 지수 이동 평균을, 추정된 평균으로부터의 마할라노비스 거리에 기반한 역-카이제곱 분포를 따르는 가중치를 사용한 가중 평균으로 대체한다.
• 이 방법은 스튜던트-t 분포를 사용하여 두꺼운 尾를 가지거나 이상치가 많은 데이터에 대해 강건한 경사 변동을 모델링한다. 특히 표본 수가 적을 경우 유리하다.
• 경사가 추정된 평균에서 떨어진 제곱 마할라노비스 거리에 반비례하는 가중치를 사용하여 가중 합으로 강건한 모멘텀 추정치를 계산함으로써 이상치의 영향을 감소시킨다.
• 가중치 업데이트 규칙은 $ w_t = \frac{\nu + d}{\nu + D_t} $ 로 정의되며, 여기서 $ D_t $ 는 마할라노비스 거리이고 $ \nu $ 는 자유도 파라미터이다.
• 효율적인 학습률은 $ \beta_w = \frac{W_{t-1}}{W_{t-1} + w_t} $ 를 통해 조정되며, $ W_t $ 는 과거 경사의 누적 가중합을 나타내어 안정적인 모멘텀 추적을 보장한다.
• 이론적 분석을 통해 두꺼운 尾를 가진 경사 가정 하에 TAdam의 손실 한계를 유도하였으며, Adam에 비해 더 뛰어난 수렴 안정성을 보여주었다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 경사에 대해 명시적인 데이터 필터링이나 노이즈 모델링 없이도 강건한 확률적 최적화 방법을 설계할 수 있는가?
• RQ2 Adam의 적응형 모멘텀을 스튜던트-t 기반의 강건한 추정으로 대체할 경우, 노이즈가 많거나 두꺼운 尾를 가진 데이터에서 성능 향상은 어떻게 이루어지는가?
• RQ3 비정규 분포이자 두꺼운 尾를 가진 경사 분포를 가정할 때, 제안된 TAdam 최적화 방법의 이론적 손실 한계는 무엇인가?
• RQ4 TAdam의 마할라노비스 거리 기반 가중치 부여 방식은 이상치 거부 능력과 수렴 속도 측면에서 표준 지수 이동 평균과 비교하여 어떻게 다른가?

주요 결과

• TAdam은 노이즈가 많은 데이터 조건에서 회귀, 분류, 강화학습 등 다양한 작업에서 Adam을 능가한다.
• TAdam의 손실 한계는 $ R_T \leq \frac{D^{2}_{\infty}}{2\alpha_{T}(1-\bar{\beta}_{w})}\sum_{i=1}^{d}\hat{v}_{T,i}^{1/2} + \frac{D^{2}_{\infty}}{(1-\bar{\beta}_{w})^{2}}\sum_{t=1}^{T}\sum_{i=1}^{d}\frac{\beta_{1t}\hat{v}_{t,i}^{1/2}}{\alpha_{t}} + \frac{\alpha\sqrt{1+\log T}}{(1-\bar{\beta}_{w})^{2}(1-\gamma)\sqrt{1-\beta_{2}}}\sum_{i=1}^{d}\|g_{1:T,i}\|_2 $ 로 유도되었으며, 두꺼운 尾 경사 하에서 더 뛰어난 안정성을 보여준다.
• 기대 가중치 $ \mathbb{E}[w_t] $ 는 $ \frac{1}{d+\nu} $ 와 $ \frac{1}{d-2+\nu} $ 사이로 유한하게 제한되어 있어, 두꺼운 尾 모델링을 통한 이상치에 대한 강건성을 보장한다.
• 모멘텀 가중치의 기대값 $ \mathbb{E}[\beta_w] \leq \beta_1 $ 이며, 이는 TAdam이 비 i.i.d. 경사 조건 하에서도 안정적이고 유한한 모멘텀 업데이트를 유지함을 증명한다.
• 이론적 분석은 TAdam의 강건성이 스튜던트-t 분포를 경사 모멘텀 추정에 적용함으로써 유도되며, 이는 가우시안 가정에 비해 두꺼운 尾 행동을 더 잘 포착함을 확인한다.