[논문 리뷰] Breaking the Softmax Bottleneck via Learnable Monotonic Pointwise Non-linearities

Octavian-Eugen Ganea, Sylvain Gelly외 2명|arXiv (Cornell University)|2019. 02. 21.

Model Reduction and Neural Networks참고 문헌 30인용 수 6

한 줄 요약

이 논문은 대규모 어휘 빈도 언어 모델에서 랭크 결함 문제를 해결하기 위해 로그릿에 적용되는 학습 가능한 단조 증가 점별 비선형성인 Linear-Monotonic-Softmax(LMS)을 제안한다. 표준 Softmax 및 혼합형 Softmax보다 교차 엔트로피와 모드 매칭 성능을 향상시키며, 계산 비용을 거의 증가시키지 않으면서 PennTreeBank 및 WikiText-2에서 최신 기준 퍼플렉서티를 달성한다. MoS보다 훨씬 더 효율적이다.

ABSTRACT

The Softmax function on top of a final linear layer is the de facto method to output probability distributions in neural networks. In many applications such as language models or text generation, this model has to produce distributions over large output vocabularies. Recently, this has been shown to have limited representational capacity due to its connection with the rank bottleneck in matrix factorization. However, little is known about the limitations of Linear-Softmax for quantities of practical interest such as cross entropy or mode estimation, a direction that we explore here. As an efficient and effective solution to alleviate this issue, we propose to learn parametric monotonic functions on top of the logits. We theoretically investigate the rank increasing capabilities of such monotonic functions. Empirically, our method improves in two different quality metrics over the traditional Linear-Softmax layer in synthetic and real language model experiments, adding little time or memory overhead, while being comparable to the more computationally expensive mixture of Softmaxes.

연구 동기 및 목표

• 큰 출력 어휘 집합에서 복잡한 확률 분포를 모델링하는 데 있어 Linear-Softmax 레이어의 표현 한계를 해결하기 위해.
• 학습 가능한 단조 증가 점별 비선형성이 행렬의 랭크를 효과적으로 증가시키고 Softmax의 한계를 완화할 수 있는지 조사하기 위해.
• 합성 및 실제 언어 모델링 작업에서 교차 엔트로피 최소화와 모드 매칭을 향상시키는 방법을 개발하기 위해.
• Softmax 맥락에서 단조 비선형성의 랭크 증가 능력에 대한 이론적 보장을 제공하기 위해.
• 높은 성능을 유지하면서 메모리와 시간 오버헤드가 매우 낮은, 비용이 많이 드는 혼합형 Softmax 모델의 효율적인 대안을 설계하기 위해.

제안 방법

• 최종 Softmax 레이어 이전에 적용되는 학습 가능한 연속적이고 증가하는 점별 함수(PLIF)를 제안하여 LMS 아키텍처를 구성한다.
• 랭크 성질을 유지하고 안정적인 최적화를 보장하기 위해 비선형성을 단조 증가하도록 제약한다.
• 고정된 함수를 사용하는 대신 매개변수화된 비선형 변환을 학습하는 방식으로 Sigsoftmax를 일반화한다.
• 다양한 기울기 통합 함수(예: ReLU 기반 또는 스퍼플 기반)를 사용하여 로그릿의 비선형 왜곡을 모델링한다.
• PLIF 레이어가 최종 Softmax 레이어를 대체하는 AWD-LSTM 모델에서 표준 학습 절차(SGD 및 학습률 스케줄링)를 적용한다.
• 합성 데이터와 실제 언어 모델링 벤치마크(PennTreeBank, WikiText-2)에서 성능을 평가하며, 기울기 통계 분석을 통한 아블레이션을 실시한다.

실험 결과

연구 질문

• RQ1 학습 가능한 단조 증가 점별 비선형성이 로그릿-확률 행렬의 랭크를 효과적으로 증가시키고 Softmax의 한계를 극복할 수 있는가?
• RQ2 합성 분포에서 LMS 모델이 교차 엔트로피와 진짜 모드 매칭 측면에서 Linear-Softmax 및 혼합형 Softmax와 비교해 어떻게 성능을 내는가?
• RQ3 LMS는 낮은 계산 및 메모리 오버헤드를 유지하면서 실제 언어 모델링 작업에서 경쟁 가능한 퍼플렉서티를 달성할 수 있는가?
• RQ4 학습된 비선형성의 기능 형태는 무엇이며, 실제로 비트리비얼한 비선형 행동을 보이는가?
• RQ5 선형 제약 조건 하에서 최대 엔트로피 원리와 LMS 목적함수 사이에 이론적 연결이 존재하는가?

주요 결과

• 합성 실험에서 LMS는 특히 저차원 임베딩(low D) 및 대규모 어휘 집합(large M) 설정에서 Linear-Softmax 및 혼합형 Softmax보다 교차 엔트로피 최소화와 진짜 모드 매칭 측면에서 뚜렷이 뛰어난 성능을 보였다.
• PennTreeBank 데이터셋에서 LMS-PLIF는 테스트 퍼플렉서티 107.5를 기록하여 기준 AWD-LSTM(110.2)을 초월했으며, 훨씬 더 비싼 MoS 모델의 성능과도 유사했다.
• WikiText-2에서 LMS-PLIF는 테스트 퍼플렉서티 101.7을 기록하여 Linear-Softmax를 능가했고, 훨씬 더 높은 계산 비용이 드는 최신 기준 MoS 모델과도 유사한 성능을 달성했다.
• 학습된 PLIF 함수는 강력한 비선형성 행동을 보였으며, 기울기 통계 분석 결과 평균 기울기 1.10, 표준편차 0.62, 최대 기울기 5.16로 나타나 로그릿의 강한 비선형 왜곡이 일어나고 있음을 시사했다.
• LMS의 계산 오버헤드는 거의 없었으며, 훈련 시간과 GPU 메모리 사용량은 표준 Linear-Softmax와 거의 동일했고, MoS와는 달리 수 개의 주기 이상 더 비싼 것으로 나타났다.
• MoS에 PLIF 레이어를 결합한 MoS + PLIF는 PennTreeBank에서 최고 성능(퍼플렉서티 106.8)을 기록하여 모든 기준 모델을 능가했으며, LMS 구성 요소의 모ularity와 효과성을 입증했다.