[논문 리뷰] Adaptive scale-invariant online algorithms for learning linear models

Michał Kempka, Wojciech Kotłowski외 1명|arXiv (Cornell University)|2019. 02. 20.

Advanced Bandit Algorithms Research인용 수 14

한 줄 요약

이 논문은 선형 모델을 위한 척도 불변 온라인 학습 알고리즘을 제안하며, 최적의 각 차원별 학습률로 조정된 온라인 경사 하강법(OGD)의 성능 한계와 동일한(로그함수 인자까지는) 성능 한계를 달성하면서도 하이퍼파rameter 조정이 필요 없음을 보여준다. 알고리즘은 임의의 특성 스케일링에 대해 불변이며, 각 반복에서 O(d)의 실행 시간을 유지한다.

ABSTRACT

We consider online learning with linear models, where the algorithm predicts on sequentially revealed instances (feature vectors), and is compared against the best linear function (comparator) in hindsight. Popular algorithms in this framework, such as Online Gradient Descent (OGD), have parameters (learning rates), which ideally should be tuned based on the scales of the features and the optimal comparator, but these quantities only become available at the end of the learning process. In this paper, we resolve the tuning problem by proposing online algorithms making predictions which are invariant under arbitrary rescaling of the features. The algorithms have no parameters to tune, do not require any prior knowledge on the scale of the instances or the comparator, and achieve regret bounds matching (up to a logarithmic factor) that of OGD with optimally tuned separate learning rates per dimension, while retaining comparable runtime performance.

연구 동기 및 목표

• 특성의 스케일이 다양할 경우 온라인 선형 학습에서 성능이 열 劣하는 문제를 해결하며, 이는 가중치 갱신에서 단위가 맞지 않기 때문에 표준 온라인 경사 하강법(OGD)의 성능이 저하되기 때문이다.
• 온라인 학습에서 특성 스케일이나 비교자 노름에 대한 사전 정규화 또는 오라클 지식이 필요 없도록 제거한다.
• 개별 특성의 스케일에 대해 불변인 파라미터 없는 온라인 알고리즘을 설계하여, 특성 단위가 변경되어도 예측 결과가 변하지 않도록 보장한다.
• 후행적으로 최적의 각 차원별 학습률로 조정된 OGD의 최적 성능 한계와 동일한(로그함수 인자까지는) 성능 한계를 달성한다.
• 표준 OGD와 유사한 O(d)의 반복당 계산 효율성을 유지하여 계산 효율성을 확보한다.

제안 방법

• 각 가중치를 개별적으로 갱신하는 좌표 기반 업데이트 규칙을 개발하며, 각 차원의 국소적 기울기 크기와 비교자 노름에 맞춰 적응형 학습률을 사용한다.
• EGU±(Kivinen & Warmuth, 1997)에 영감을 받은 잠재 함수 기반 분석을 도입하며, 로그 보조 장벽을 사용하여 척도 불변성을 보장한다.
• ScInOL 1과 ScInOL 2라는 두 가지 알고리즘을 설계하며, ScInOL 2는 수렴 성능을 향상시키기 위해 더 공격적인 업데이트 규칙을 사용한다.
• 각 차원의 특성 스케일에 영향을 받지 않도록 업데이트를 독립적으로 수행함으로써 척도 불변성을 확보한다.
• 리프시츠 연속 손실 함수(예: 로지스틱, 허프, 절대 손실)를 사용하여 기울기가 특성 벡터에 비례하는 유한한 기울기를 보장한다.
• 새로운 잠재 함수를 사용해 성능 한계를 분석하며, 이는 예측 오차와 비교자 노름 간의 상충 관계를 포착하여 엄밀한 상한을 도출한다.

실험 결과

연구 질문

• RQ1 특성 스케일이나 비교자 노름에 대한 사전 지식 없이도, 개별 특성의 임의의 스케일링에 대해 불변인 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ2 하이퍼파rameter 조정 없이도, 최적의 각 차원별 학습률로 조정된 OGD의 성능 한계와 동일한 성능 한계를 달성할 수 있는가?
• RQ3 척도 불변 알고리즘이 특성 스케일 변화에 대해 강건성을 확보하면서도 반복당 O(d)의 계산 효율성을 유지할 수 있는가?
• RQ4 실제 적용에서 Adam, AdaGrad, 수작업으로 학습률를 조정한 SGD와 비교해 척도 불변 알고리즘은 어떻게 성능을 냈는가?
• RQ5 제안된 프레임워크를 딥 러닝 모델로 확장하여 내부 공변량 이동 문제를 완화하고 배치 정규화에 대한 의존도를 줄일 수 있는가?

주요 결과

• 제안된 알고리즘인 ScInOL 1과 ScInOL 2는 후행적으로 최적의 각 차원별 학습률로 조정된 OGD의 최적 성능 한계와 동일한(로그함수 인자까지는) 성능 한계를 달성한다.
• ScInOL 2는 더 공격적인 업데이트 규칙 덕분에 모든 테스트 데이터셋에서 ScInOL 1을 능가하며, 수렴 속도와 안정성 향상이 뚜렷하다.
• SGD, AdaGrad, Adam, NAG와 비교해 런타임 간의 분산이 크게 낮아져, 수작업으로 학습률를 조정한 알고리즘들이 보여준 높은 불안정성과는 대조된다.
• MNIST, Covertype, Census 등의 벤치마크 데이터셋에서 ScInOL 2와 CoCoB는 교차 엔트로피 손실과 정확도 측면에서 최고의 테스트 세트 성능을 기록했다.
• Alg1-K17(이전의 척도 불변 방법)는 보수적인 업데이트 정책으로 인해 특히 MNIST에서 수렴 속도가 느렸다.
• 알고리즘은 완전히 파라미터 없는 것으로, 사전 정규화나 특성 스케일 지식이 전혀 필요 없어 실세계 온라인 환경에서 구현이 용이하고 강건하다.