[논문 리뷰] Unbiased scalable softmax optimization

Francois Fagan, Garud Iyengar|arXiv (Cornell University)|2018. 03. 22.

Parallel Computing and Optimization Techniques참고 문헌 17인용 수 8

한 줄 요약

이 논문은 수백만 개의 클래스를 가진 대규모 소프트맥스 모델을 최적화하기 위해 두 가지 편향이 없고 확장 가능한 확률적 경사 하강법 알고리즘—Implicit SGD와 U-max—을 제안한다. 이중합으로 재구성된 우도를 사용하고, 분산이 유한한 효율적인 경사 업데이트를 통해 각 반복에서의 복잡도를 O(D)로 유지함으로써, 일곱 개의 실제 데이터셋에서 편향 기반 기준보다 최대 4.44배 높은 로그 손실 감소 성능을 달성한다.

ABSTRACT

Recent neural network and language models rely on softmax distributions with an extremely large number of categories. Since calculating the softmax normalizing constant in this context is prohibitively expensive, there is a growing literature of efficiently computable but biased estimates of the softmax. In this paper we propose the first unbiased algorithms for maximizing the softmax likelihood whose work per iteration is independent of the number of classes and datapoints (and no extra work is required at the end of each epoch). We show that our proposed unbiased methods comprehensively outperform the state-of-the-art on seven real world datasets.

연구 동기 및 목표

• 수백만 개의 클래스를 가진 대규모 모델에서 소프트맥스 정규화 상수를 계산하는 데 있어 계산적으로 불가능한 문제를 해결한다.
• 최적 해로의 수렴을 손상시키는 기존 근사 방법의 편향과 불안정성을 극복한다.
• 반복 횟수에 따라 클래스 수와 데이터 포인트 수에 영향을 받지 않는 확장 가능하고 편향이 없는 최적화 알고리즘을 개발한다.
• 각 에포크에서 전체 배치 정규화 계산을 비용이 많이 드는 것으로 요구하지 않고도 안정적이고 수렴 가능한 학습을 보장한다.

제안 방법

• 데이터 포인트와 클래스에 대한 이중합으로 리지 정규화가 적용된 소프트맥스 로그 우도를 재구성하여, 둘 다 미니배치 샘플링이 가능하도록 한다.
• 이중분할 방법을 사용해 효율적이고 안정적인 스텝 사이즈 계산이 가능한 Implicit SGD를 제안하고, 선형적으로 유한한 스텝 사이즈를 확보한다.
• 적당한 작은 학습률에서 경계가 있는 기울기와 수렴을 보장하는 새로운 SGD 변종인 U-max을 도입한다.
• 엄격한 초기 경계와 볼록 최적화 기법을 활용해 기울기 업데이트의 수치적 안정성을 확보한다.
• 이중합 구조를 활용해 각 반복의 비용을 K와 N에 관계없이 O(D)로 감소시킨다.
• 학습률과 파라미터 경계에 대한 약한 가정 하에 두 알고리즘의 수렴성과 안정성 보장을 증명한다.

실험 결과

연구 질문

• RQ1 완전한 정규화 합을 계산하는 데 높은 비용이 드는 문제를 피하면서도 편향이 없는 최적화 방법을 설계할 수 있는가?
• RQ2 클래스 수 K가 매우 클 경우 기울기가 높은 분산과 다이나믹 레인지 문제를 가질 때, 어떻게 스트로스틱 기울기 업데이트를 안정화할 수 있는가?
• RQ3 O(D) 반복 복잡도를 유지하면서도 진정한 최대우도 추정치로의 수렴을 달성할 수 있는가?
• RQ4 제안된 이중합 구조는 주기적인 전체 배치 정규화 없이도 안정적이고 효율적인 학습을 가능하게 하는가?
• RQ5 실제로 제안된 편향이 없는 방법들은 더 빠르지만 덜 정확한 편향 기반 기준보다 어떻게 비교되는가?

주요 결과

• Implicit SGD는 일곱 개의 실제 데이터셋을 통틀어 이전 최고의 편향 기반 방법보다 평균적으로 4.44배 낮은 로그 손실을 기록했다.
• U-max와 Implicit SGD는 OVE, NCE, IS, 그리고 보통의 SGD를 포함한 모든 기준 방법보다 로그 손실과 수렴 속도 측면에서 뛰어난 성능을 보였다.
• 제안된 방법들은 클래스 수 K와 데이터 포인트 수 N에 관계없이 항상 O(D) 반복 비용을 유지하여 대규모 문제에 대한 확장성을 확보했다.
• Implicit SGD는 OVE/NCE/IS/Vanilla/U-max보다 반복당 런타임이 빠르며, 데이터셋 평균에서 런타임 비율이 1.60이었다.
• U-max는 적당한 작은 학습률에서 기울기의 경계가 있고 수렴이 보장되는 안정적인 학습을 보였으며, 이는 보통의 SGD와는 다름을 보였다.
• 이중합 구조는 각 반복에서 데이터 포인트와 클래스를 효율적으로 샘플링할 수 있게 해, 계산 오버헤드를 줄이면서도 편향이 없음을 유지했다.