[논문 리뷰] Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation

Shaoshi Sun, Zhenyuan Zhang외 5명|arXiv (Cornell University)|2021. 12. 23.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 고차원 분류 작업에서 표준 소프트맥스의 느린 수렴 문제를 해결하기 위해 상위-k 로짓에만 정규화를 적용함으로써 희소성을 유도하는 더 단순하고 빠른 대안인 스파스-소프트맥스를 제안한다. 이는 수렴 속도와 성능을 크게 향상시킨다. 실험 결과, 자연어 처리 및 이미지 분류 작업 전반에서 기준 모델을 능가하며, 특히 사전 훈련된 모델과 조합할 경우 두드러진 성능 향상을 보였다.

ABSTRACT

The softmax function is widely used in artificial neural networks for the multiclass classification problems, where the softmax transformation enforces the output to be positive and sum to one, and the corresponding loss function allows to use maximum likelihood principle to optimize the model. However, softmax leaves a large margin for loss function to conduct optimizing operation when it comes to high-dimensional classification, which results in low-performance to some extent. In this paper, we provide an empirical study on a simple and concise softmax variant, namely sparse-softmax, to alleviate the problem that occurred in traditional softmax in terms of high-dimensional classification problems. We evaluate our approach in several interdisciplinary tasks, the experimental results show that sparse-softmax is simpler, faster, and produces better results than the baseline models.

연구 동기 및 목표

• 고차원 분류 작업(100개 이상의 클래스 포함)에서 표준 소프트맥스의 느린 수렴 문제를 해결하기 위해.
• 출력 분포의 희소성을 활용하는 더 단순하고 효율적인 소프트맥스의 대안을 개발하기 위해.
• 스파스-소프트맥스의 효과를 자연어 처리 및 이미지 분류를 포함한 다양한 작업에서 평가하기 위해.
• 스파스-소프트맥스가 교차 엔트로피 손실에서 마진 간격을 줄임으로써 사전 훈련된 모델에서 과적합을 완화하는지 조사하기 위해.

제안 방법

• 스파스-소프트맥스는 입력 벡터 z에서 상위-k 로짓을 선택하고, 나머지 모든 값을 0으로 설정한 후 소프트맥스 정규화를 적용한다.
• 변환은 다음과 같이 정의된다: z_i가 상위-k에 속해 있으면 p_i = exp(z_i) / sum_{j in Ω_k} exp(z_j), 그렇지 않으면 0이다.
• 학습 중에는 최적화 효율성을 향상시키기 위해 상위-k 예측에만 집중하는 수정된 교차 엔트로피 손실 함수를 사용한다.
• 이 방법은 시퀀스에서 시퀀스 작업(예: 개괄적 요약, 질문 생성) 및 이미지 분류(CIFAR-100)에서 평가된다.
• 실험은 미세조정 및 사전 훈련된 모델 설정에서 표준 소프트맥스와의 비교를 포함한다.
• 희소성과 성능 간 균형을 맞추기 위해 하이퍼파라미터 k를 튜닝하였으며, 시퀀스 작업에서 k=5가 뛰어난 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 상위-k 선택을 통한 소프트맥스 출력의 희소성 강제화가 고차원 분류에서 수렴 속도를 향상시키는가?
• RQ2 스파스-소프트맥스는 자연어 처리 시퀀스에서 시퀀스 작업(예: 개괄적 요약, 질문 생성)에서 표준 소프트맥스와 비교해 성능 면에서 어떻게 다른가?
• RQ3 스파스-소프트맥스는 교차 엔트로피 손실에서 마진 간격을 최소화함으로써 사전 훈련된 모델에서 과적합을 효과적으로 줄일 수 있는가?
• RQ4 스파스-소프트맥스의 성능 향상은 이미지 분류를 포함한 다양한 모델 아키텍처와 데이터셋에서 일관되게 나타나는가?
• RQ5 스파스-소프트맥스의 이점은 특히 고차원 출력 공간에서 사전 훈련된 가중치의 사용에 따라 달라지는가?

주요 결과

• Gigaword-10k 데이터셋에서, 스파스-소프트맥스는 비트 사이즈 1일 때 표준 소프트맥스 대비 ROUGE-1을 0.67% 향상시키고, ROUGE-2를 0.79% 향상시켰다.
• 비트 사이즈 5일 때, 스파스-소프트맥스는 ROUGE-1에서 0.28% 높은 성능과 ROUGE-2에서 0.55% 높은 성능을 기록하여 디코딩 품질 향상이 일관되게 나타났다.
• SQuAD 1.1의 질문 생성 작업에서, 스파스-소프트맥스는 BLEU-1, BLEU-2, BLEU-3, BLEU-4 각각 0.90%, 0.62%, 0.80%, 0.82% 향상되어 기준 모델을 능가했다.
• CIFAR-100에서, Densenet에서는 스파스-소프트맥스가 상위-1 정확도 76.2%로 73.7%인 표준 소프트맥스와 유사한 성능을 보이며, 비사전 훈련 설정에서는 유의미한 이점이 없음을 보였다.
• InceptionV3(사전 훈련된 모델)에서는 스파스-소프트맥스가 상위-1 정확도를 77.1%에서 77.8%로 향상시켜, 사전 훈련된 프레임워크에서의 효과성을 확인했다.
• 결과는 스파스-소프트맥스가 고차원 출력을 가진 사전 훈련된 모델에서 과적합을 줄이고 최적화를 향상시키는 데 특히 효과적임을 시사한다.