[논문 리뷰] Sparse Sequence-to-Sequence Models

Ben Peters, Vlad Niculae외 1명|arXiv (Cornell University)|2019. 05. 14.

Natural Language Processing Techniques참고 문헌 40인용 수 7

한 줄 요약

이 논문은 새로운 가중치가 없는, 흐린 변환인 α-entmax라는 새로운 가족의 미분 가능하고 흐린 변환을 사용하여 흐린 순서-순서 모델을 소개한다. 이는 소프트맥스와 스파스맥스를 일반화한다. 어텐션 및 출력 레이어에서 밀도 있는 소프트맥스를 α-entmax로 대체함으로써, 흐린 정렬과 출력 확률을 생성함으로써 해석 가능성과 정확도를 향상시키고, 낮은 모호성 설정에서 정확한 빔 서치를 가능하게 한다. 이 방법은 GPU에서 소프트맥스에 가까운 속도를 달성하며, 형태소 불변성 및 기계 번역 작업에서 일관된 성능 향상을 보였다.

ABSTRACT

Sequence-to-sequence models are a powerful workhorse of NLP. Most variants employ a softmax transformation in both their attention mechanism and output layer, leading to dense alignments and strictly positive output probabilities. This density is wasteful, making models less interpretable and assigning probability mass to many implausible outputs. In this paper, we propose sparse sequence-to-sequence models, rooted in a new family of $α$-entmax transformations, which includes softmax and sparsemax as particular cases, and is sparse for any $α> 1$. We provide fast algorithms to evaluate these transformations and their gradients, which scale well for large vocabulary sizes. Our models are able to produce sparse alignments and to assign nonzero probability to a short list of plausible outputs, sometimes rendering beam search exact. Experiments on morphological inflection and machine translation reveal consistent gains over dense models.

연구 동기 및 목표

• 모든 어휘 항목에 대해 비영이 아닌 확률을 할당하는 밀도 있는 순서-순서 모델의 비효율성과 해석 가능성 부족 문제를 해결하기 위해.
• 모델 성능를 유지하면서 비현실적인 출력에 대한 확률 질량을 줄이는, 미분 가능하고 흐린 소프트맥스의 대안을 개발하기 위해.
• 출력 확률을 유한하고 작은 수의 현실적인 가설로 제한함으로써 정확한 빔 서치를 가능하게 하기 위해.
• 특히 대규모 어휘 작업을 위한 α-entmax 변환에 대해 빠르고 확장 가능한 추론 알고리즘을 제공하기 위해.
• 해당하는 소스 토큰만 강조하는 흐린 집중 정렬을 통해 어텐션의 해석 가능성 향상시키기 위해.

제안 방법

• 타슬리 엔트로피를 기반으로 한, 소프트맥스(α=1)와 스파스맥스(α=2)를 특수한 경우로 포함하는, 미분 가능하고 흐린 확률 변환의 가족인 α-entmax를 제안한다.
• α-entmax 출력 레이어의 자연스러운 학습 목표로 Fenchel-Young 손실을 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 1.5-entmax에 대한 정확한 GPU 최적화 알고리즘을 개발하여, 흐린성에도 불구하고 소프트맥스에 가까운 추론 속도를 달성한다.
• 임의의 α>1에 대해 이분법 기반의 근사 알고리즘을 사용하여, 대규모 어휘에 대해서도 실용적인 성능 유지를 한다.
• α-entmax를 어텐션 메커니즘과 출력 레이어 양쪽 모두에 적용하여, 동시에 흐린 어텐션과 흐린 출력 확률을 가능하게 한다.
• 기본 RNN 기반 순서-순서 모델에 입력 피드백과 글로벌 어텐션을 통합하여 변환을 통합한다.

실험 결과

연구 질문

• RQ1 소프트맥스를 흐린, 미분 가능한 변환으로 대체함으로써 순서-순서 모델의 해석 가능성과 성능 향상이 가능한가?
• RQ2 흐린 출력 확률 분포는 낮은 모호성 작업에서 정확한 빔 서치를 가능하게 하는가?
• RQ3 흐린 어텐션 메커니즘은 계산 낭비를 줄이고 관련 있는 소스 단어에 집중하는 데 기여하는가?
• RQ4 제안된 α-entmax 변환은 특히 GPU에서 대규모 어휘 NLP 작업에 대해 충분히 효율적인가?
• RQ5 흐린 어텐션과 흐린 출력 레이어의 조합은 다양한 NLP 작업 전반에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• 1.5-entmax 모델은 de→en 번역 작업에서 BLEU 점수 63.0%를 기록하여, 소프트맥스와 스파스맥스를 모두 초월했다.
• 형태소 불변성 작업에서, 최고의 밀도 기반 기준보다 1.4%p의 절대적인 정확도 향상을 달성했다.
• 타겟 토큰당 비영인 어텐션 가중치의 평균 수는 소프트맥스의 24.25에서 1.5-entmax의 5.55로 감소하여 해석 가능성 향상이著명했다.
• 시간 단위당 비영인 출력 확률의 평균 수는 소프트맥스의 17,993에서 1.5-entmax의 16.13으로 감소하여 낭비된 확률 질량이 줄었다.
• 정확한 1.5-entmax 알고리즘은 GTX 1080 GPU에서 초당 10,500개의 타겟 단어를 처리하며, 소프트맥스의 13,000개/초에 근접한 속도를 기록했다.
• 형태소 불변성 작업에서, 많은 경우 빔 서치가 정확했으며, 유일하게 비영인 확률을 가진 가설은 총 3개였고, 이는 정답과 하나의 타당한 대안이 포함되어 있었다.