[논문 리뷰] On Controllable Sparse Alternatives to Softmax

Anirban Laha, Saneem Chemmengath외 4명|arXiv (Cornell University)|2018. 10. 29.

Domain Adaptation and Few-Shot Learning인용 수 20

한 줄 요약

이 논문은 소프트맥스, 스퍼스맥스, 기타 변종을 일반화하는 스퍼스리티를 명시적으로 제어할 수 있는 통합 프레임워크를 제안한다. 두 가지 새로운 설정인 스퍼스젠-린과 스퍼스호러거스를 통해 이루어지며, 닫힌 형식의 해와 역전파를 지원하여 다중 레이블 분류 및 기계 번역, 요약과 같은 시퀀스 투 시퀀스 작업에서 향상된 성능을 보여준다.

ABSTRACT

Converting an n-dimensional vector to a probability distribution over n objects is a commonly used component in many machine learning tasks like multiclass classification, multilabel classification, attention mechanisms etc. For this, several probability mapping functions have been proposed and employed in literature such as softmax, sum-normalization, spherical softmax, and sparsemax, but there is very little understanding in terms how they relate with each other. Further, none of the above formulations offer an explicit control over the degree of sparsity. To address this, we develop a unified framework that encompasses all these formulations as special cases. This framework ensures simple closed-form solutions and existence of sub-gradients suitable for learning via backpropagation. Within this framework, we propose two novel sparse formulations, sparsegen-lin and sparsehourglass, that seek to provide a control over the degree of desired sparsity. We further develop novel convex loss functions that help induce the behavior of aforementioned formulations in the multilabel classification setting, showing improved performance. We also demonstrate empirically that the proposed formulations, when used to compute attention weights, achieve better or comparable performance on standard seq2seq tasks like neural machine translation and abstractive summarization.

연구 동기 및 목표

• 소프트맥스, 스퍼스맥스, 합정규화와 같은 기존의 확률 매핑 함수들을 단일 이론적 프레임워크 아래 통합하는 것.
• 기존의 스퍼스 매핑에서 스퍼스리티에 대한 명시적 제어의 부재를 해결하는 것.
• 제안된 설정을 활용해 다중 레이블 분류에 특화된 새로운 볼록 손실 함수를 개발하는 것.
• 닫힌 형식의 해를 통해 하향식 학습을 가능하게 하고, 서브기울기 지원을 제공하는 것.
• 제안된 방법을 시퀀스 투 시퀀스 작업의 어텐션 메커니즘에서 평가하는 것.

제안 방법

• 기존 매핑을 일반화하기 위해, 소프트맥스, 스퍼스맥스, 합정규화를 특수한 경우로 포함하는 매개변수화된 함수의 가족을 도입한다.
• 제안된 스퍼스젠-린 설정은 선형 제약 조건을 사용하여 스퍼스리티를 제어하며, 출력의 비영 요소 수를 명시적으로 조정할 수 있도록 한다.
• 스퍼스호러거스 설정은 두 단계 최적화 과정을 도입하여 먼저 활성 성분을 식별하고, 그 다음에 정규화함으로써 탄력적인 스퍼스리티 제어를 가능하게 한다.
• 볼록 최적화를 통해 서브기울기의 존재를 보장하여 딥러닝 모델에서 역전파를 가능하게 한다.
• 다중 레이블 분류에서 원하는 스퍼스리티 행동을 유도하기 위해 새로운 볼록 손실 함수를 설계한다.
• 표준 소프트맥스를 제안된 스퍼스 대체 함수로 교체하여 시퀀스 투 시퀀스 모델의 어텐션 메커니즘에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 스퍼스리티 확률 매핑, 예를 들어 소프트맥스와 스퍼스맥스를 단일 이론적 프레임워크 아래 통합할 수 있는가?
• RQ2 다양한 미분 가능성 또는 닫힌 형식의 해를 잃지 않으면서도, 확률 매핑 함수에서 스퍼스리티에 대한 명시적 제어를 달성할 수 있는가?
• RQ3 제안된 설정인 스퍼스젠-린과 스퍼스호러거스는 기존 방법과 비교해 다중 레이블 분류에서 어떻게 성능을 내는가?
• RQ4 스퍼스리티 제어는 신경 기계 번역 및 개괄적 요약과 같은 시퀀스 투 시퀀스 모델의 어텐션 메커니즘에 어떤 영향을 미치는가?
• RQ5 다중 레이블 학습에서 원하는 스퍼스리티 행동을 효과적으로 유도하기 위해 새로운 볼록 손실 함수를 설계할 수 있는가?

주요 결과

• 제안된 프레임워크는 소프트맥스, 스퍼스맥스, 합정규화와 같은 기존 매핑을 특수한 경우로 포함하여 통합적인 시각을 제공한다.
• 스퍼스젠-린과 스퍼스호러거스는 조정 가능한 매개변수를 통해 스퍼스리티 정도를 명시적으로 제어할 수 있다.
• 이러한 설정은 닫힌 형식의 해와 서브기울기를 지원하여 역전파를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 다중 레이블 분류에서 제안된 새로운 볼록 손실 함수는 기존 표준 방법보다 향상된 성능을 달성한다.
• 시퀀스 투 시퀀스 작업에서 제안된 스퍼스 어텐션 메커니즘은 표준 소프트맥스와 동등하거나 그 이상의 성능을 기록한다.