[논문 리뷰] Sigsoftmax: Reanalysis of the Softmax Bottleneck

Sekitoshi Kanai, Yasuhiro Fujiwara외 2명|arXiv (Cornell University)|2018. 05. 28.

Topic Modeling참고 문헌 28인용 수 22

한 줄 요약

이 논문은 지수함수와 시그모이드 함수를 조합하여 추가 파rameter 없이 소프트맥스의 한계를 극복하는 새로운 출력 활성화 함수인 sigsoftmax를 제안한다. 실험 결과, 언어 모델링에서 소프트맥스와 혼합 소프트맥스를 모두 능가하며 더 낮은 퍼플렉서티와 더 높은 선형 독립성을 확보한다.

ABSTRACT

Softmax is an output activation function for modeling categorical probability distributions in many applications of deep learning. However, a recent study revealed that softmax can be a bottleneck of representational capacity of neural networks in language modeling (the softmax bottleneck). In this paper, we propose an output activation function for breaking the softmax bottleneck without additional parameters. We re-analyze the softmax bottleneck from the perspective of the output set of log-softmax and identify the cause of the softmax bottleneck. On the basis of this analysis, we propose sigsoftmax, which is composed of a multiplication of an exponential function and sigmoid function. Sigsoftmax can break the softmax bottleneck. The experiments on language modeling demonstrate that sigsoftmax and mixture of sigsoftmax outperform softmax and mixture of softmax, respectively.

연구 동기 및 목표

• 신경망의 표현 능력에서 소프트맥스의 한계가 발생하는 근본 원인을 규명하는 것.
• 추가 파arameter 없이 소프트맥스의 한계를 극복하는 출력 활성화 함수를 개발하는 것.
• 출력 레이어의 표현 능력을 향상시켜 언어 모델링 성능을 향상시키는 것.
• 소프트맥스와 유사한 수치적 안정성을 유지하면서도 저차원 은닉 공간에서 더 우수한 일반화 성능을 보이는 대안을 제공하는 것.

제안 방법

• 로그-소프트맥스의 출력 집합(범위) 관점에서 소프트맥스의 한계를 재분석하여, 제한된 비선형성과 차원 제약이 원인임을 규명한다.
• 지수함수와 시그모이드 함수의 조합으로 구성된 sigsoftmax를 제안: $ f_{\text{sig}}(z) = \exp(z) \cdot \sigma(z) $, 이는 소프트맥스를 초월하는 출력 범위를 제공한다.
• 소프트맥스와 달리 sigsoftmax의 출력 범위는 은닉층 차원에 제약을 받지 않아 출력 벡터 간의 더 높은 선형 독립성을 가능하게 한다.
• 성능 향상을 위해 다수의 sigsoftmax 출력을 조합하는 혼합 sigsoftmax(MoSS)를 제안한다.
• 수치적 안정성을 확보하기 위해 확률적 경량 최하강법을 사용한 음의 로그우도를 최적화 기준으로 삼는다.
• 테스트 시퀀스의 로그-출력 벡터로 구성된 행렬의 질량을 통해 표현 능력을 평가한다.

실험 결과

연구 질문

• RQ1 왜 소프트맥스가 표현 능력에서 한계를 보이며, 특히 언어 모델링에서 그러한 현상이 발생하는가?
• RQ2 소프트맥스의 어떤 구조적 또는 기능적 특성이 복잡한 확률 분포를 모델링하는 데 제약이 되는가?
• RQ3 추가 파arameter 없이 소프트맥스의 한계를 극복할 수 있는 새로운 출력 활성화 함수를 설계할 수 있는가?
• RQ4 sigsoftmax는 소프트맥스보다 출력 벡터 간의 선형 독립성을 더 높게 유지하는가?
• RQ5 sigsoftmax 및 그 혼합형태인 MoSS는 표준 소프트맥스와 혼합 소프트맥스를 모두 능가하는가?

주요 결과

• PTB 데이터셋에서 sigsoftmax는 검증 퍼플렉서티 48.3을 기록하여 소프트맥스(51.2)와 MoS(48.6)를 모두 능가했다.
• WT2 데이터셋에서 sigsoftmax는 테스트 퍼플렉서티 42.9를 기록하여 소프트맥스(43.3)와 MoS(40.8)보다 낮았다.
• WT2에서 sigsoftmax의 선형 독립 출력 벡터 수는 5,465개였으며, 이는 소프트맥스의 402개보다 유의미하게 높아, 소프트맥스의 한계를 극복함을 확인했다.
• 혼합 sigsoftmax(MoSS)는 WT2에서 테스트 퍼플렉서티 40.3을 기록하여 MoS(40.8)를 능가했으며, 더 높은 표현 능력을 보였다.
• WT2에서 sigsoftmax의 로그-출력 행렬의 질량은 5,465였으며, 이는 은닉층 차원에 제약을 받지 않아 소프트맥스와 달리 출력 공간이 제한되지 않음을 보여주었다.
• ReLU 기반 및 시그모이드 기반 함수는 소프트맥스보다 높은 질량을 보였지만, 수치적 불안정성으로 인해 효과적인 학습이 어려웠으며, sigsoftmax는 이러한 문제를 해결했다.