[논문 리뷰] An Exploration of Softmax Alternatives Belonging to the Spherical Loss Family

Alexandre de Brébisson, Pascal Vincent|arXiv (Cornell University)|2015. 11. 16.

Stock Market Forecasting Methods참고 문헌 14인용 수 52

한 줄 요약

이 논문은 구형 손실 가족 내의 소프트맥스 대체 방법—특히 로그-구형 소프트맥스와 새로운 로그-테일러 소프트맥스—를 조사하며, 이들이 표준 로그-소프트맥스보다 저차원 분류 작업(MNIST 및 CIFAR10)에서 더 우수한 성능을 보임을 입증한다. 그러나 고차원 언어 모델링 벤치마크인 One Billion Word에서는 성능이 열 劣한다. 이 방법은 구형 가족의 성질을 통해 $O(d^2)$의 효율적인 가중치 갱신을 가능하게 하여, 저출력 차원 설정에서 표준 소프트맥스보다 향상된 성능을 제공하는 확장 가능한 대안을 제공한다.

ABSTRACT

In a multi-class classification problem, it is standard to model the output of a neural network as a categorical distribution conditioned on the inputs. The output must therefore be positive and sum to one, which is traditionally enforced by a softmax. This probabilistic mapping allows to use the maximum likelihood principle, which leads to the well-known log-softmax loss. However the choice of the softmax function seems somehow arbitrary as there are many other possible normalizing functions. It is thus unclear why the log-softmax loss would perform better than other loss alternatives. In particular Vincent et al. (2015) recently introduced a class of loss functions, called the spherical family, for which there exists an efficient algorithm to compute the updates of the output weights irrespective of the output size. In this paper, we explore several loss functions from this family as possible alternatives to the traditional log-softmax. In particular, we focus our investigation on spherical bounds of the log-softmax loss and on two spherical log-likelihood losses, namely the log-Spherical Softmax suggested by Vincent et al. (2015) and the log-Taylor Softmax that we introduce. Although these alternatives do not yield as good results as the log-softmax loss on two language modeling tasks, they surprisingly outperform it in our experiments on MNIST and CIFAR-10, suggesting that they might be relevant in a broad range of applications.

연구 동기 및 목표

• 소프트맥스 대체 방법이 다중 분류에서 표준 로그-소프트맥스를 능가할 수 있는지 평가하는 것.
• 다양한 데이터셋에서 로그-구형 소프트맥스 및 신규 제안된 로그-테일러 소프트맥스를 포함한 구형 손실의 경험적 성능을 조사하는 것.
• 왜 로그-소프트맥스가 언어 모델링과 같은 고차원 설정에서 우세한 반면, 저차원 작업에서는 구형 손실이 더 우수한 성능을 보이는지 이해하는 것.
• 다양한 손실 함수 간의 학습 효율성, 모델 용량, 일반화 간의 상충 관계를 분석하는 것.

제안 방법

• 구형 손실 가족은 타겟 클래스 활성화 $o_c$, 합 $s = \sum o_i$, 제곱 노름 $q = \|\mathbf{o}\|^2$ 를 유일하게 사용하여, $O(dD)$ 대신 $O(d^2)$의 가중치 갱신을 가능하게 한다.
• 볼록 분석을 통해 로그-소프트맥스 손실의 상한을 도출하여, 동일한 최소값을 유지하는 대체 손실 함수를 제공한다.
• 로그-테일러 소프트맥스는 로그-합-지수 함수의 테일러 전개를 기반으로 한 구형 손실로, 온도 하이퍼파rameter $\epsilon$ 가 필요 없도록 한다.
• 로그-구형 소프트맥스는 이전 연구에서 제안된 바와 같이, $q$와 $o_c$에 의존하는 구형 정규화를 사용한다.
• 실험은 고정된 아키텍처를 사용하여 MNIST, CIFAR10/100, 언어 모델링 작업에서 이러한 손실 함수를 비교한다. 이는 손실 함수의 영향을 고립하여 평가하기 위함이다.
• 모델의 깊이와 비선형성(예: ReLU, 지수 함수, 배치 정규화)을 변화시켜 구형 손실 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 저차원 분류 작업에서 구형 손실 기반의 소프트맥스 대체 방법이 표준 로그-소프트맥스보다 더 좋은 일반화 성능을 달성할 수 있는가?
• RQ2 효율성은 높지만 고차원 언어 모델링 작업에서 로그-소프트맥스가 구형 손실을 능가하는 이유는 무엇인가?
• RQ3 구형 소프트맥스와 제안된 로그-테일러 소프트맥스의 하이퍼파rameter 설정 및 수치 안정성은 어떻게 비교되는가?
• RQ4 더 깊은 네트워크나 강력한 비선형성(예: ReLU 대체로 지수 함수 사용, 배치 정규화) 등의 아키텍처 수정이 구형 손실의 성능 향상에 기여하는가?
• RQ5 대규모 출력 공간에서 분류적 특징 경쟁을 위해 소프트맥스의 지수 비선형성은 어떤 역할을 하는가?

주요 결과

• MNIST 및 CIFAR10에서 로그-테일러 소프트맥스와 로그-구형 소프트맥스는 고정된 아키텍처 하에서 로그-소프트맥스를 능가하여 더 낮은 테스트 오차와 더 높은 정확도를 달성한다.
• One Billion Word 데이터셋에서 로그-소프트맥스는 두 개의 은닉층을 사용할 때 퍼플렉서티 19.2를 기록했고, 로그-구형 소프트맥스는 28.4, 로그-테일러 소프트맥스는 28.9를 기록하여 뚜렷한 성능 격차가 있음을 보였다.
• 로그-소프트맥스의 SimLex-999 점수는 깊이 증가에 따라 향상되며(두 층일 때 0.318), 반면 구형 손실은 소폭 향상되며(0.262–0.265) 의미 유사성 모델링 능력이 제한적임을 시사한다.
• 로그-테일러 소프트맥스는 온도 하이퍼파rameter $\epsilon$ 가 필요 없고, 약간의 비대칭성이 학습에 도움이 될 수 있어 정확도와 안정성 면에서 로그-구형 소프트맥스를 능가한다.
• 더 깊은 네트워크, ReLU를 지수 함수로 대체, 배치 정규화 등의 아키텍처 개선에도 불구하고, 구형 손실은 고차원 작업에서 로그-소프트맥스를 능가하지 못했다.
• 저차원에서는 구형 손실이 로그-소프트맥스를 능가하고 고차원에서는 열 劣하는 성능의 정성적 전환은 여전히 설명되지 않으며, 이는 인덕티브 바이어스의 근본적인 차이를 시사한다.