[논문 리뷰] One-vs-Each Approximation to Softmax for Scalable Estimation of Probabilities

Michalis K. Titsias|arXiv (Cornell University)|2016. 09. 23.

Machine Learning and Algorithms참고 문헌 15인용 수 38

한 줄 요약

이 논문은 훈련 샘플과 클래스 레이블을 모두 샘플링함으로써 확장 가능하고 이중 스토하스틱 추정을 가능하게 하는 소프트맥스 함수에 대한 새로운 one-vs-each 하한을 제안한다. 이 하한은 정확한 소프트맥스 확률에 대한 엄밀한 하한이며, 원래 손실 함수가 볼록일 경우 볼록성을 유지하며, 최소한의 계산 오버헤드로 대규모 다중분류에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The softmax representation of probabilities for categorical variables plays a prominent role in modern machine learning with numerous applications in areas such as large scale classification, neural language modeling and recommendation systems. However, softmax estimation is very expensive for large scale inference because of the high cost associated with computing the normalizing constant. Here, we introduce an efficient approximation to softmax probabilities which takes the form of a rigorous lower bound on the exact probability. This bound is expressed as a product over pairwise probabilities and it leads to scalable estimation based on stochastic optimization. It allows us to perform doubly stochastic estimation by subsampling both training instances and class labels. We show that the new bound has interesting theoretical properties and we demonstrate its use in classification problems.

연구 동기 및 목표

• 수천, 수만, 수십만 개의 클래스를 가진 모델에서 정확한 소프트맥스 추정의 계산 비용이 너무 높아지는 문제를 해결한다 (예: 수만 또는 수백만 개의 클래스).
• 이론적 보장을 유지하면서도 계산적으로 효율적인 소프트맥스 확률의 근사치를 개발한다.
• 훈련 샘플과 클래스 레이블을 별도로 샘플링할 수 있도록 해서 이중 스토하스틱 최적화를 가능하게 한다.
• 비모수적 경우에서 최대우도 추정의 완벽한 서브스티튜트로 유지되도록 보장한다.
• 최적화에 대해 안정적이고 효율적인 확률적 경사하강법을 지원할 수 있도록 볼록하고 미분 가능한 하한을 제공한다.

제안 방법

• 소프트맥스 확률에 대한 하한을 유도하기 위해 항등식 $ p(y=k) = \frac{1}{1 + \sum_{m \neq k} e^{-(f_k - f_m)}} $ 를 사용한다.
• 모든 $ \alpha_i \geq 0 $ 에 대해 $ 1 + \sum_i \alpha_i \leq \prod_i (1 + \alpha_i) $ 라는 부등식을 적용하여 $ p(y=k) \geq \prod_{m \neq k} \sigma(f_k - f_m) $ 를 도출한다. 여기서 $ \sigma $ 는 시그모이드 함수이다.
• 얻어진 하한을 이중 스토하스틱 최적화 프레임워크 내의 변분 하한으로 사용하여 데이터와 클래스의 샘플링을 가능하게 한다.
• 각 단계에서 진짜 클래스와 다른 클래스의 작은 무작위 부분집합만 선택하여 희소 업데이트를 사용하는 확률적 경사하강법을 수행한다.
• 원래 소프트맥스 손실 함수가 볼록일 경우 하한의 볼록성을 유지하여 안정적인 최적화를 보장한다.
• 각 에포크마다 학습률을 반으로 줄이는 학습률 스케줄링 전략을 사용하여 대규모 설정에서의 수렴 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 분류에 대해 계산적으로 효율적이고 이론적으로 타당한 소프트맥스 함수에 대한 하한을 구성할 수 있는가?
• RQ2 제안된 one-vs-each 하한이 비모수적 경우에서 정확한 최대우도 추정의 전역 최적해를 유지하는가?
• RQ3 이 하한이 훈련 샘플과 클래스 레이블을 별도로 샘플링할 수 있도록 해주는 이중 스토하스틱 최적화를 지원하는가?
• RQ4 기존의 샘플드 소프트맥스나 계층적 소프트맥스와 비교해 대규모 다중분류 문제에서 정확도와 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 원래 소프트맥스 손실 함수가 볼록일 경우 이 하한이 볼록성을 유지하여 안정적이고 효율적인 최적화를 가능하게 하는가?

주요 결과

• one-vs-each 하한은 짝별 시그모이드 확률의 곱으로 유도된 정확한 소프트맥스 확률에 대한 엄밀한 하한이다.
• 비모수적 경우에서 정확한 최대우도 추정의 전역 최적해와 동일한 최적해를 공유하므로 추정에 대한 완벽한 서브스티튜트이다.
• 훈련 샘플과 클래스를 별도로 샘플링할 수 있도록 해서 계산 비용을 크게 줄이는 이중 스토하스틱 최적화를 가능하게 한다.
• AmazonCat-13K 데이터셋에서 테스트 오차율이 53.11%를 기록하여 랜덤 추측과 다수 클래스 기반 베이스라인(79% 오차)을 크게 뛰어넘었다.
• 미니배치 크기가 1이고 반복마다 5개의 클래스를 샘플링하는 희소 업데이트를 사용하여 표준 PC에서 단 26분 만에 학습을 완료했다.
• 원래 비용 함수가 볼록일 경우 하한이 여전히 볼록성을 유지하여 최적화 중 수렴 안정성을 보장한다.