[논문 리뷰] Efficient improper learning for online logistic regression

Rémi Jézéquel, Pierre Gaillard외 1명|arXiv (Cornell University)|2020. 03. 18.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 6

한 줄 요약

이 논문은 로지스틱 회귀를 위한 효율적인 비정규 온라인 학습 알고리즘인 AIOLI를 소개한다. 이 알고리즘은 라운드당 복잡도가 $O(d^2 + \log n)$이고, $B$에 대한 지수적 의존성을 피하는 바람에 $O(B\log(Bn))$의 리그레트 스케일링을 달성한다. FTRL과 표면 손실, Vovk의 집계 알고리즘에서 영감을 받은 비정규화 전략을 조합함으로써, 이론적으로 최적화된 비정규 알고리즘과 실용적인 구현 간 격차를 메우며, 계산 가능성을 유지하면서도 온라인 환경에서 로그 스케일링 리그레트를 달성한다.

ABSTRACT

We consider the setting of online logistic regression and consider the regret with respect to the 2-ball of radius B. It is known (see [Hazan et al., 2014]) that any proper algorithm which has logarithmic regret in the number of samples (denoted n) necessarily suffers an exponential multiplicative constant in B. In this work, we design an efficient improper algorithm that avoids this exponential constant while preserving a logarithmic regret. Indeed, [Foster et al., 2018] showed that the lower bound does not apply to improper algorithms and proposed a strategy based on exponential weights with prohibitive computational complexity. Our new algorithm based on regularized empirical risk minimization with surrogate losses satisfies a regret scaling as O(B log(Bn)) with a per-round time-complexity of order O(d^2).

연구 동기 및 목표

• 기존의 하한선에 의해 불가피하게 발생하는 정규 온라인 로지스틱 회귀 알고리즘의 리그레트 바운드에서 $B$에 대한 지수적 의존성을 해결하기 위해.
• 실용적인 알고리즘을 설계하여 $n$에 대해 로그 스케일링 리그레트를 달성하면서도 정규 방법에서 관찰되는 지수적 $B$-의존성을 피하기 위해.
• 이론적으로 최적의 비정규 알고리즘(예: Vovk의 집계 알고리즘)과 실용적 구현 간 격차를 메우기 위해 계산 복잡도를 감소시키기 위해.
• 비정규 학습의 적용 범위를 이론적으로 보장되고 효율적인 성능을 보장하는 온라인 로지스틱 회귀로 확장하기 위해.
• 기존의 비정규 알고리즘(예: MCMC 샘플링에 의존하는 것들)의 금지된 복잡도를 피하면서도 계산 가능성을 유지하는 대안을 제공하기 위해.

제안 방법

• 알고리즘은 효율적인 온라인 업데이트를 가능하게 하기 위해 표면 손실을 사용한 Follow-The-Regularized-Leader (FTRL)를 사용한다.
• Azoury-Warmuth-Vovk 예측자에서 영감을 받은 비정규화 전략을 도입하여, 표준 $\ell_2$-구의 반경 $B$ 외부의 예측도 허용한다.
• 표면 손실 함수는 강한 볼록성과 곡률 적응성을 유지하도록 구성되어 있어 더 날카운 리그레트 바운드를 가능하게 한다.
• 알고리즘의 업데이트 규칙은 철저히 설계된 비정규화 항을 포함한 정규화된 경험적 리스크 최소화에서 유도된다.
• 라운드당 계산 복잡도는 $O(d^2 + \log n)$로 유지되며, 저랭크 업데이트와 FTRL 프레임워크 내 수치 안정성을 활용한다.
• MCMC 샘플링을 피하기 위해 지수 가중치의 닫힌 형태 근사치를 사용함으로써 실용적 구현이 가능해진다.

실험 결과

연구 질문

• RQ1 비정규 온라인 학습 알고리즘이 온라인 로지스틱 회귀에서 $O(B\log(Bn))$ 리그레트를 달성하면서도 다항 시간 복잡도를 갖는 라운드당 복잡도를 가지는가?
• RQ2 리그레트 바운드에서 $B$에 대한 지수적 의존성을 제거하면서도 $n$에 대해 로그 스케일링을 유지하는 것이 가능한가?
• RQ3 기존의 비정규 알고리즘(예: MCMC 샘플링에 기반한 것들)의 계산 복잡도를 리그레트 보장을 훼손하지 않고 감소시킬 수 있는가?
• RQ4 표면 손실 설계가 로지스틱 손실과 같은 비선형·비볼록 유사 손실에 대해 효율적이고 비정규 온라인 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 비정규화를 적용한 FTRL이 $B$가 유한한 악성 환경에서의 온라인 설정에서 표준 정규 알고리즘을 능가할 수 있는가?

주요 결과

• 제안된 AIOLI 알고리즘은 $O(B\log(Bn))$의 리그레트 바운드를 달성하며, 이는 로그 인자 수준에서 최적이며 정규 방법에서 관찰되는 지수적 $e^B$ 의존성을 피한다.
• 라운드당 계산 복잡도는 $O(d^2 + \log n)$로 유지되며, 이는 이전의 비정규 방법들(예: $O(B^6 n^{12}(Bn + d)^{12})$ 시간 필요)보다 훨씬 효율적이다.
• 시뮬레이션 결과 AIOLI가 $n$에 대해 다항로그 스케일링 리그레트 성장을 보이며, $β$-정규화를 적용한 표준 FTRL보다 뛰어난 성능을 보임을 확인했다. 이는 다항 리그레트를 보여준다.
• Hazan 등(2014)의 하한선에서 제시된 악성 데이터 분포 조건 하에서도 알고리즘이 강력한 성능을 유지한다. 이는 정규 방법의 한계를 드러내는 데에 유용하다.
• 알고리즘은 RKHS 내 비모수적 로지스틱 회귀에도 적용 가능하지만, 근사 기법 없이 계산 비용이 $O(n^3)$으로 증가할 수 있다.
• 이론적 분석는 적응적 곡률 매개변수를 갖는 비정규 학습 설정으로까지 확장 가능하며, 선형 모델을 초월한 더 넓은 적용 가능성을 시사한다.