[논문 리뷰] Online Multiclass Classification Based on Prediction Margin for Partial Feedback

Takuo Kaneko, Issei Sato외 1명|arXiv (Cornell University)|2019. 02. 04.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 13

한 줄 요약

이 논문은 예측 간격과 보완 레이블링을 활용하여 성능을 향상시키는 부분 피드백 환경을 위한 결정론적 온라인 다중분류 알고리즘인 CSPA를 제안한다. 올바른 예측에 대해선 지원 클래스 피아스 애그레서티(PCA) 업데이트를, 잘못된 예측에 대해선 보완 레이블링에 영향을 받은 업데이트를 적용함으로써, 기존의 간격 기반이 아닌 방법들과 확률적 방법들보다 뛰어난 경험적 정확도와 안정성을 달성한다. 이 알고리즘은 이론적으로 누적 제곱 손실의 경계를 보장한다.

ABSTRACT

We consider the problem of online multiclass classification with partial feedback, where an algorithm predicts a class for a new instance in each round and only receives its correctness. Although several methods have been developed for this problem, recent challenging real-world applications require further performance improvement. In this paper, we propose a novel online learning algorithm inspired by recent work on learning from complementary labels, where a complementary label indicates a class to which an instance does not belong. This allows us to handle partial feedback deterministically in a margin-based way, where the prediction margin has been recognized as a key to superior empirical performance. We provide a theoretical guarantee based on a cumulative loss bound and experimentally demonstrate that our method outperforms existing methods which are non-margin-based and stochastic.

연구 동기 및 목표

• 예측의 정확성만 공개되고 진짜 레이블이 제공되지 않는 부분 피드백 환경에서의 온라인 다중분류 문제에 대응하기 위해.
• 기존의 간격 기반이 아닌 방법들 또는 확률적 탐색 전략에 의존하는 방법들은 실제 응용에서 성능을 제한하므로 이를 개선하기 위해.
• 예측이 잘못되었을 때 보완 레이블링을 활용해 업데이트를 이끄는 결정론적 간격 기반 알고리즘을 개발하기 위해.
• 제안된 방법에 대해 누적 제곱 손실의 경계를 통해 수렴 보장을 제공하기 위해.

제안 방법

• 각 클래스당 하나의 가중치 벡터 w_i ∈ ℝ^d를 사용하는 선형-파라미터 모델을 사용하여 각 클래스의 점수 w_i^T x를 계산한다.
• 각 라운드에서 예측 레이블 ŷ_t는 점수가 가장 높은 클래스로 선택된다: ŷ_t = argmax_i w_i,t^T x_t.
• 올바른 예측에 대해선 지원 클래스 피아스 애그레서티(PCA) 업데이트 규칙을 적용하여 예측 간격 기반 업데이트를 유지한다.
• 잘못된 예측에 대해선 보완 레이블링에서 영감을 받은 새로운 업데이트 규칙을 도입하여 잘못된 예측 클래스에 대한 신뢰도를 낮춘다.
• 잘못된 예측에 대해 페널티를 주면서도 간격의 구조를 유지하는 서로서비스 손실 함수를 최소화하도록 업데이트 규칙을 유도한다.
• 가우스 커널을 사용하여 비선형 설정으로 확장하였으며, 커널화된 특성 맵핑을 위해 고정된 700개의 인스턴스로 구성된 서포트 세트를 사용한다.

실험 결과

연구 질문

• RQ1 결정론적 간격 기반 알고리즘이 기존의 확률적 방법들과 간격 기반 이외의 방법들보다 부분 피드백 환경에서 온라인 다중분류 문제에서 뛰어난 성능을 낼 수 있는가?
• RQ2 보완 레이블링은 부분 피드백 하에서 다중분류 문제에 대한 간격 기반 학습 프레임워크에 효과적으로 통합될 수 있는가?
• RQ3 특히 누적 손실과 실수 횟수 경계 측면에서 이러한 방법에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ4 제안된 방법의 성능은 다양한 데이터셋과 선형 및 비선형 설정 모두에서 어떻게 스케일링되는가?

주요 결과

• 선형 및 비선형 설정 모두에서 모든 테스트 데이터셋에서 CSPA는 Banditron, Confidit, BPA보다 제안된 레이블의 정확도 비율에서 뚜렷한 우월성을 보였다.
• 선형 케이스에서 여섯 데이터셋 중 다섯 개에서 CSPA는 평균적으로 가장 높은 정확도 비율을 기록했으며, 그림 3의 그림자 영역에서 표준편차가 작아 안정적인 성능을 보였다.
• 가우스 커널을 사용한 비선형 케이스에서는 거의 모든 데이터셋에서 CSPA가 뛰어난 성능을 유지했으며, 그림 4에서 함수 복잡성에 대한 강건성을 입증했다.
• 이론적 분석을 통해 누적 제곱 손실 경계를 확립하여, 악성 조건 하에서도 알고리즘의 수렴 보장을 제공했다.
• CSPA의 하이퍼파rameter β는 노이즈 데이터에 대해 강건하며, 이론적으로 보장된 범위 내에서 β를 설정하면 안정성이 확보된다. 다만 비악성 조건 하에서는 더 높은 값이 더 좋은 경험적 성능을 낼 수 있다.