[논문 리뷰] Bandit Multiclass Linear Classification: Efficient Algorithms for the Separable Case

Alina Beygelzimer, Dávid Pál외 4명|arXiv (Cornell University)|2019. 02. 06.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 3

한 줄 요약

이 논문은 이진 예측 정확성 피드백만 제공되는 밴딧 피드백 하에서 온라인 다중클래스 선형 분류를 위한 효율적인 알고리즘을 제시한다. 강한 선형 분리 가능성 하에서 near-optimal인 $O(K/\gamma^2)$ 수준의 실수 경계를 달성하는 새로운 알고리즘과, 약한 분리 가능성 하에서 차원에 종속되지 않는 실수 경계 $\widetilde{O}(2^{\sqrt{1/\gamma}\log K})$ 를 확보하는 또 다른 알고리즘을 제안한다. 이는 커널화된 퍼셉트론과 특징 매핑을 통해 약한 분리 가능 데이터를 고차원 공간에서 강한 분리 가능 형태로 변환함으로써 달성된다.

ABSTRACT

We study the problem of efficient online multiclass linear classification with bandit feedback, where all examples belong to one of $K$ classes and lie in the $d$-dimensional Euclidean space. Previous works have left open the challenge of designing efficient algorithms with finite mistake bounds when the data is linearly separable by a margin $γ$. In this work, we take a first step towards this problem. We consider two notions of linear separability: strong and weak. 1. Under the strong linear separability condition, we design an efficient algorithm that achieves a near-optimal mistake bound of $O\left( K/γ^2 ight)$. 2. Under the more challenging weak linear separability condition, we design an efficient algorithm with a mistake bound of $\min (2^{\widetilde{O}(K \log^2 (1/γ))}, 2^{\widetilde{O}(\sqrt{1/γ} \log K)})$. Our algorithm is based on kernel Perceptron, which is inspired by the work of (Klivans and Servedio, 2008) on improperly learning intersection of halfspaces.

연구 동기 및 목표

• 밴딧 피드백 하에서 유한한 실수 경계를 갖는 효율적인 알고리즘을 설계하는 데 열려 있는 문제를 해결하기 위해.
• 이전 연구에서 차원에 종속되지 않는 실수 경계를 갖는 효율적인 알고리즘이 부족했던 약한 선형 분리 가능성 문제를 해결하기 위해.
• 실수 경계에서 특징 차원에 대한 명시적 의존성을 제거하여 Kakade 등(2008)이 제기한 열린 질문에 답하기 위해.
• 계산적으로 효율적인 알고리즘을 구축하여 $K$, $d$, $1/\gamma$, $T$ 에 대해 다항식 시간 및 메모리 복잡도를 확보하면서도 강력한 일반화 보장을 유지하기 위해.

제안 방법

• 각 클래스별로 하나씩 총 $K$개의 이진 퍼셉트론을 병렬로 실행하는 새로운 알고리즘(알고리즘 1)을 제안하여 강한 선형 분리 가능성 상황을 다루기 위해.
• 약한 선형 분리 가능 데이터를 고차원 특징 공간에서 강한 분리 가능 형태로 변환하기 위해 커널화된 퍼셉트론 접근법을 사용하며, 이는 명시적인 특징 매핑 $\phi$ 를 통해 이루어진다.
• 계산 시간이 $O(d)$ 수준인 정규 양의 정합성 커널 $k(x,x')$ 를 설계하여, 특징 공간에 직접 투영하지 않고도 효율적인 커널 계산을 가능하게 한다.
• 변환된 공간에서의 마진에 기반한 실수 경계를 확보하기 위해 커널화된 알고리즘을 활용하며, 이 마진은 원래의 약한 마진 $\gamma$ 에서 유도된다.
• 지연된 피드백이 존재하는 악성 환경에서 실수 횟수의 기대값을 근사하기 위해 잘라낸 기하분포 분석을 적용한다.
• 조건부 기대의 탑재 성질과 확률적 하한을 활용하여 실수 복잡도에 대한 최악의 경우 하한을 유도한다.

실험 결과

연구 질문

• RQ1 밴딧 피드백 설정 하에서 강한 선형 분리 가능성 조건 하에, 유한한 실수 경계를 갖는 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 약한 선형 분리 가능성 조건 하에서, 입력 차원 $d$ 에 종속되지 않는 유한한 실수 경계를 달성할 수 있는가?
• RQ3 약한 분리 가능성 상황에서 near-optimal 실수 경계를 유지하면서도 계산적으로 효율적인 알고리즘을 구성할 수 있는가?
• RQ4 밴딧 다중클래스 분류 설정에서 실수 경계와 계산 효율성 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 커널 방법을 어떻게 활용하여 약한 분리 가능 데이터를 강한 분리 가능 형태로 변환하여 효율적인 학습을 가능하게 할 수 있는가?

주요 결과

• 강한 선형 분리 가능성 조건 하에서 제안된 알고리즘은 $O(K/\gamma^2)$ 의 실수 경계를 달성하며, 이는 정보 이론적 하한과 상수 인자 수준에서 일치하는 near-optimal 성능을 보인다.
• 약한 선형 분리 가능성 조건 하에서 알고리즘은 $\min(2^{\widetilde{O}(K\log^2(1/\gamma))}, 2^{\widetilde{O}(\sqrt{1/\gamma}\log K)})$ 의 실수 경계를 확보하며, 이는 차원에 종속되지 않으며 이전 연구를 향상시킨다.
• 알고리즘은 계산적으로 효율적이며, 라운드당 시간 복잡도와 메모리 복잡도 모두 $O(dK)$ 수준이어서 큰 $K$ 와 $d$ 에 대해서도 확장 가능하다.
• 커널 매핑을 통해 약한 분리 가능성을 고차원 공간에서 강한 분리 가능 형태로 변환함으로써, 효율적인 퍼셉트론 기반 학습이 가능해진다.
• 강한 분리 가능성 조건 하에서 어떤 알고리즘에 대해서도 $\Omega(K(R/\gamma)^2)$ 의 하한이 증명되었으며, 이는 밴딧 피드백 하에서 실수 경계에 $O(K)$ 요소가 필수적임을 보여준다.
• 분석을 통해 밴딧 피드백 하에서 전체 정보 설정 대비 실수 경계에 추가로 $O(K)$ 요소가 필요한 것이 확인되었으며, 이는 전체 레이블 피드백이 부족하기 때문이다.