[논문 리뷰] Extreme Classification via Adversarial Softmax Approximation

Robert Bamler, Stephan Mandt|ArXiv.org|2020. 02. 15.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 7

한 줄 요약

이 논문은 극단적 분류를 위한 적대적 음성 샘플링을 제안하며, 기울기 분산을 줄이고 학습을 가속화하기 위해 학습된 보조 모델을 사용해 정보성 있는 음성 샘플을 생성한다. 데이터 분포를 모방하는 모델에서 샘플링을 통해 기울기 분산을 줄이고, 기존 방법 대비 최대 10배 빠른 수렴을 달성하면서도 정확도를 유지하며, 테스트 시기에 정확한 정량화를 통해 편향을 보정한다.

ABSTRACT

Training a classifier over a large number of classes, known as 'extreme classification', has become a topic of major interest with applications in technology, science, and e-commerce. Traditional softmax regression induces a gradient cost proportional to the number of classes $C$, which often is prohibitively expensive. A popular scalable softmax approximation relies on uniform negative sampling, which suffers from slow convergence due a poor signal-to-noise ratio. In this paper, we propose a simple training method for drastically enhancing the gradient signal by drawing negative samples from an adversarial model that mimics the data distribution. Our contributions are three-fold: (i) an adversarial sampling mechanism that produces negative samples at a cost only logarithmic in $C$, thus still resulting in cheap gradient updates; (ii) a mathematical proof that this adversarial sampling minimizes the gradient variance while any bias due to non-uniform sampling can be removed; (iii) experimental results on large scale data sets that show a reduction of the training time by an order of magnitude relative to several competitive baselines.

연구 동기 및 목표

• 극단적 분류에서 클래스 수 C에 비례해 선형적으로 증가하는 소프트맥스 회귀의 높은 계산 비용을 해결한다.
• 균일한 샘플링으로 인해 기울기 품질이 열 劣화되는 음성 샘플링의 신호 대 잡음 비율을 향상시킨다.
• C에 대해 로그 비용으로 하위선형 비용으로 고품질의 음성 샘플을 생성할 수 있는 확장 가능한 방법을 개발한다.
• 입력 특징으로부터 실제와 구분하기 어려운 음성 샘플을 생성할 수 있도록 보조 모델을 설계한다.
• 비균일 샘플링으로 인해 발생하는 편향을 정량화하고 제거할 수 있는 수학적 프레임워크를 제공하여 테스트 시기 성능의 일관성을 확보한다.

제안 방법

• 입력에 조건부로 정의된 분포 p(y| x)에서 샘플링하는 일반화된 음성 샘플링 프레임워크를 제안하며, 균일한 사전 분포가 아닌 조건부 분포를 사용한다.
• 입력 특징에 기반해 진정한 레이블과 통계적으로 유사한 음성 레이블을 생성하는 적대적 보조 모델을 도입하여 기울기 분산을 최소화한다.
• 효율적인 O(log C) 샘플링과 최소한의 하이퍼파라미터 튜닝으로 사전학습이 가능한 확률적 결정트리 모델을 보조 모델로 사용한다.
• 기울기 분산이 최소화되는 이론적 조건을 유도하며, 보조 모델이 데이터 분포를 정확히 모방할 경우 최적성을 입증한다.
• 비균일 샘플링으로 인한 오차를 정확히 제거할 수 있는 편향 보정 메커니즘을 테스트 시기에 도입한다.
• 전체 소프트맥스 손실의 확률적 근사로 학습 목표를 설정하며, 기울기 업데이트는 소수의 적대적 음성 샘플만을 사용해 계산한다.

실험 결과

연구 질문

• RQ1 학습된 모델에 기반한 비균일 음성 샘플링이 극단적 분류에서 확률적 기울기의 신호 대 잡음 비율을 향상시킬 수 있는가?
• RQ2 소프트맥스 근사 맥락에서 기울기 분산을 최소화하는 데 최적의 음성 샘플 분포는 무엇인가?
• RQ3 C에 대해 하위선형 비용으로 고품질의 음성 샘플을 효율적으로 생성할 수 있는 보조 모델은 어떻게 설계할 수 있는가?
• RQ4 비균일 샘플링으로 인한 편향은 테스트 시기에 재학습 없이 정확히 정량화하고 제거할 수 있는가?
• RQ5 적대적 음성 샘플링은 균일 또는 빈도 기반 기준 대비 더 빠른 수렴과 더 나은 일반화 성능을 보일 수 있는가?

주요 결과

• 제안된 적대적 음성 샘플링 방법은 대규모 데이터셋에서 여러 경쟁 기준 대비 학습 시간을 한 계급 감소시켰다.
• Wikipedia-500K 및 Amazon-670K 데이터셋 모두에서 예측 로그 가능도와 정확도 측면에서 상당히 더 빠른 수렴을 달성했다.
• 비록 한 데이터셋에서 약간 낮은 로그 가능도를 보였지만, 상위 클래스 점수의 순위가 더 우수하여 균일 및 빈도 기반 음성 샘플링보다 예측 정확도에서 뛰어났다.
• 확률적 결정트리 기반 보조 모델은 O(log C) 샘플링을 가능하게 하며, 최소한의 하이퍼파라미터 튜닝으로 효율적으로 사전학습이 가능하다.
• 이론적 분석을 통해 보조 모델이 데이터 분포를 정확히 모방할 경우 기울기 분산이 최소화되며, 비균일 샘플링으로 인한 편향은 테스트 시기에 정확히 보정됨을 입증했다.
• 실험 결과는 방법이 훈련 시간을 크게 줄이면서도 높은 테스트 정확도를 유지함을 확인하였으며, 실세계 극단적 분류 작업에 대한 실용적 확장성을 입증했다.