[논문 리뷰] Exploiting the Surrogate Gap in Online Multiclass Classification

Dirk van der Hoeven|arXiv (Cornell University)|2020. 07. 24.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 4

한 줄 요약

이 논문은 비볼록 0-1 손실과 볼록 대체 손실(로지스틱, 힌지, 스무스 힌지) 사이의 갭을 활용하는 랜덤화된 일阶 알고리즘인 Gaptron을 소개한다. 전체 정보 설정에서는 $O(K)$의 위험을, 밴딧 설정에서는 $O(Kackslashsqrt{T})$의 위험을 달성하며, 특징 차원 $d$에 대한 의존성이 없어, 밴딧 설정에서 이러한 위험 한계를 가진 최초의 선형 시간 알고리즘이다.

ABSTRACT

We present Gaptron, a randomized first-order algorithm for online multiclass classification. In the full information setting we show expected mistake bounds with respect to the logistic loss, hinge loss, and the smooth hinge loss with constant regret, where the expectation is with respect to the learner's randomness. In the bandit classification setting we show that Gaptron is the first linear time algorithm with $O(K\sqrt{T})$ expected regret, where $K$ is the number of classes. Additionally, the expected mistake bound of Gaptron does not depend on the dimension of the feature vector, contrary to previous algorithms with $O(K\sqrt{T})$ regret in the bandit classification setting. We present a new proof technique that exploits the gap between the zero-one loss and surrogate losses rather than exploiting properties such as exp-concavity or mixability, which are traditionally used to prove logarithmic or constant regret bounds.

연구 동기 및 목표

• 전체 정보 및 밴딧 설정 모두에서 향상된 위험 한계를 가진 일阶 온라인 다중분류 알고리즘을 개발하는 것.
• 이전의 $O(K\sqrt{T})$ 밴딧 알고리즘과 달리, 위험 한계에서 특징 차원 $d$에 대한 의존성을 제거하는 것.
• exp-볼록성이나 혼합 가능성 대신, 0-1 손실과 대체 손실 간의 갭을 기반으로 한 새로운 증명 기법을 도입하는 것.
• 밴딧 다중분류 설정에서 선형 시간 $O(K\sqrt{T})$ 위험을 달성하는 것 — 이는 이러한 한계를 가진 최초의 알고리즘이다.

제안 방법

• Gaptron은 대체 손실의 기울기 기반으로 가중치 행렬 $\W_t$ 를 업데이트하기 위해 온라인 경사 하강법(OGD)을 사용한다.
• 학습자는 탐색과 이용의 균형을 이루기 위해 클래스에 대한 확률 분포에서 샘플링하는 랜덤화된 예측 전략을 도입한다.
• 알고리즘은 성능 측정 기준인 0-1 손실과 최적화 목표인 대체 손실 간의 갭을 활용하며, 이를 통해 위험 한계를 유도한다.
• 특히, 전체 정보 설정에서는 대체 손실 갭을 $O(K)$로, 밴딧 설정에서는 $O(K\sqrt{T})$로 유한하게 제한하는 새로운 증명 기법을 제시한다. 이는 $d$에 관계없이 성립한다.
• 분석은 확률 벡터 업데이트에 AdaHedge를 활용하고, Bhatia-Davis 부등식을 사용해 손실 갭 내의 분산 항목을 제어한다.
• 분류에서 기각을 다룰 수 있도록 방법을 일반화하며, 기각 비용 $c_t < 1/2$ 조건이 위험 한계의 유한성을 보장한다.

실험 결과

연구 질문

• RQ1 특징 차원에 의존하지 않고, 전체 정보 설정에서 $O(K)$ 위험을 달성할 수 있는 일阶 온라인 다중분류기인가?
• RQ2 밴딧 다중분류 설정에서 $O(K\sqrt{T})$ 위험을 가지는 선형 시간 알고리즘이 설계 가능한가?
• RQ3 exp-볼록성 또는 혼합 가능성 대신, 0-1 손실과 대체 손실 간의 갭을 체계적으로 활용해 위험 한계를 도출할 수 있는가?
• RQ4 밴딧 다중분류 위험 한계에서 특징 차원 $d$에 대한 의존성을 어떻게 제거할 수 있는가?

주요 결과

• Gaptron은 로지스틱, 힌지, 스무스 힌지 손실에 대해 전체 정보 설정에서 $O(K)$의 기대 위험을 달성한다.
• 밴딧 설정에서는 특징 차원 $d$에 대한 의존성이 없이 $O(K\sqrt{T})$의 기대 위험을 달성한다.
• Gaptron은 밴딧 다중분류 설정에서 $O(K\sqrt{T})$ 위험을 가지는 최초의 선형 시간 알고리즘이다.
• 위험 한계는 기존의 exp-볼록성 개념 대신 0-1 손실과 대체 손실 간의 갭을 활용한 새로운 증명 기법을 통해 도출되었다.
• 알고리즘은 적응적 확률 업데이트를 통해 유한한 대체 손실 갭과 기각 갭을 유지하는 랜덤화된 예측 전략을 유지한다.
• 분석 결과, 기각 비용 $c_t < 1/2$ 조건 하에서도 위험 한계가 $O(K\sqrt{T})$로 유지되며, 이전 작업 대비 개선된 상수를 확보한다.