[논문 리뷰] Logistic Regression: The Importance of Being Improper

Dylan J. Foster, Satyen Kale외 3명|arXiv (Cornell University)|2018. 03. 25.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 13

한 줄 요약

이 논문은 예측기 노름 $ B $ 에 대한 의존도에서 이중지수적 향상이 이루어지는, 온라인 로지스틱 회귀에 대한 효율적인 비정상 학습 알고리즘을 제안한다. 이는 $ O(d\log(Bn)) $ 의 리그레트 한계를 달성하며, 기존의 $ O(de^B\log n) $ 의 한계에 비해 이중지수적 향상이다. 로지스틱 손실의 1-믹서블리티를 활용하고, MCMC 기반 샘플링을 사용하는 Vovk의 집합 알고리즘을 적용함으로써, 온라인 밴딧 다중분류 학습과 적응형 부스팅에서 열려 있는 문제들을 해결하며, 최적의 샘플 복잡도를 확보한다.

ABSTRACT

Learning linear predictors with the logistic loss---both in stochastic and online settings---is a fundamental task in machine learning and statistics, with direct connections to classification and boosting. Existing "fast rates" for this setting exhibit exponential dependence on the predictor norm, and Hazan et al. (2014) showed that this is unfortunately unimprovable. Starting with the simple observation that the logistic loss is $1$-mixable, we design a new efficient improper learning algorithm for online logistic regression that circumvents the aforementioned lower bound with a regret bound exhibiting a doubly-exponential improvement in dependence on the predictor norm. This provides a positive resolution to a variant of the COLT 2012 open problem of McMahan and Streeter (2012) when improper learning is allowed. This improvement is obtained both in the online setting and, with some extra work, in the batch statistical setting with high probability. We also show that the improved dependence on predictor norm is near-optimal. Leveraging this improved dependency on the predictor norm yields the following applications: (a) we give algorithms for online bandit multiclass learning with the logistic loss with an $ ilde{O}(\sqrt{n})$ relative mistake bound across essentially all parameter ranges, thus providing a solution to the COLT 2009 open problem of Abernethy and Rakhlin (2009), and (b) we give an adaptive algorithm for online multiclass boosting with optimal sample complexity, thus partially resolving an open problem of Beygelzimer et al. (2015) and Jung et al. (2017). Finally, we give information-theoretic bounds on the optimal rates for improper logistic regression with general function classes, thereby characterizing the extent to which our improvement for linear classes extends to other parametric and even nonparametric settings.

연구 동기 및 목표

• 기존의 온라인 로지스틱 회귀에 대한 빠른 속도에서 예측기 노름 $ B $ 에 대한 지수적 의존도를 극복하기 위해.
• 2012년 COLT 열린 문제의 변종인 비정상 학습 하에서 리그레트 한계 향상 가능성을 탐구하기 위해.
• 배치 통계 설정에서 높은 확률로 초과 위험 보장을 제공하기 위해.
• 2009년 COLT 열린 문제인 온라인 밴딧 다중분류 학습에서 상대적 실수 한계를 해결하기 위해.
• 최적의 샘플 복잡도를 갖는 적응형 다중분류 부스팅 알고리즘을 개발하기 위해.

제안 방법

• 로지스틱 손실의 1-믹서블리티를 활용하여, Vovk의 집합 알고리즘을 통해 효율적인 비정상 학습을 가능하게 한다.
• 다항 시간 내에 집합 예측 분포를 근사하기 위해 MCMC 기반 샘플링(예: 투영된 랭그비안 몬테카를로)을 사용한다.
• 온라인 리그레트 한계를 배치 설정에서 높은 확률로 초과 위험 한계로 변환하기 위해 수정된 '신뢰도 높이기' 기법을 적용한다.
• 순차적 대칭화 및 체이닝 추론을 활용하여 결과를 임의의 함수 클래스로 일반화한다.
• 샘플된 가중치에 대한 몬테카를로 평균을 통해 부드럽게 조정된 경험 예측을 도입하여 비정상 예측기의 근사치를 구한다.
• 체르노프-후프딩 한계와 총 변동성 제어를 통해 샘플링 오차에서 기인하는 초과 손실이 유한하게 유지되도록 보장한다.

실험 결과

연구 질문

• RQ1 온라인 로지스틱 회귀 리그레트 한계에서 예측기 노름 $ B $ 에 대한 지수적 의존도를 향상시킬 수 있는가?
• RQ2 로지스틱 손실 하에서 온라인 밴딧 다중분류 학습에서 $ \tilde{O}(\sqrt{n}) $ 의 상대적 실수 한계를 달성할 수 있는가?
• RQ3 최적의 샘플 복잡도를 갖는 적응형 다중분류 부스팅 알고리즘을 설계할 수 있는가?
• RQ4 일반적인 함수 클래스에서 비정상 로지스틱 회귀에 대해 예측기 노름 $ B $ 에 대한 최적의 의존도는 무엇인가?
• RQ5 비정상 학습을 통한 온라인에서 배치로의 변환을 통해 배치 설정에서 높은 확률로 초과 위험 한계를 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 $ O(d\log(Bn)) $ 의 리그레트 한계를 달성하며, 이는 Online Newton Step의 $ O(de^B\log n) $ 의 한계에 비해 이중지수적 향상이다.
• 알고리즘은 모든 매개변수 범위에서 $ \tilde{O}(\sqrt{n}) $ 의 상대적 실수 한계를 달성함으로써, 2009년 COLT 열린 문제를 해결한다.
• 최적의 샘플 복잡도를 갖는 적응형 다중분류 부스팅 알고리즘을 개발하였으며, Beygelzimer 등(2015) 및 Jung 등(2017)의 열린 문제들을 부분적으로 해결한다.
• 수정된 '신뢰도 높이기' 기법을 사용하여, 배치 설정에서 $ O(d\log(Bn)/n) $ 의 높은 확률 초과 위험 한계를 달성한다.
• 하한 분석을 통해 예측기 노름에 대한 $ \log(B) $ 의 의존도는 향상시킬 수 없음을 보여주며, 결과의 근사 최적성은 확인된다.
• 순차적 메트릭 엔트로피를 통해 임의의 함수 클래스로의 일반화를 기술하였으며, 향상 정도는 클래스의 순차적 복잡도에 의해 결정됨을 보여준다.