[논문 리뷰] A Regularized Framework for Sparse and Structured Neural Attention

Vlad Niculae, Mathieu Blondel|arXiv (Cornell University)|2017. 05. 22.

Topic Modeling참고 문헌 47인용 수 46

한 줄 요약

이 논문은 강력한 볼록 정규화를 갖는 매끄러운 최대값 연산자를 사용하여 소프트맥스와 스파스맥스 기반 메커니즘을 일반화함으로써 희소성과 구조적 정규화를 갖춘 신경망 어텐션을 위한 정규화된 프레임워크를 제안한다. 이 프레임워크는 백프로파게이션을 통한 엔드 투 엔드 학습이 가능하고, 해석 가능성이 높으며, 소수성과 구조적 사전 지식(예: 연속된 세그먼트(퓨즈드맥스) 또는 그룹화된 단어(오스카맥스))를 강제로 적용할 수 있다. 이는 텍스트 함의, 기계 번역, 요약과 같은 과제에서 표준 어텐션 메커니즘과 비교해 성능이 유사하거나 이를 초월한다.

ABSTRACT

Modern neural networks are often augmented with an attention mechanism, which tells the network where to focus within the input. We propose in this paper a new framework for sparse and structured attention, building upon a smoothed max operator. We show that the gradient of this operator defines a mapping from real values to probabilities, suitable as an attention mechanism. Our framework includes softmax and a slight generalization of the recently-proposed sparsemax as special cases. However, we also show how our framework can incorporate modern structured penalties, resulting in more interpretable attention mechanisms, that focus on entire segments or groups of an input. We derive efficient algorithms to compute the forward and backward passes of our attention mechanisms, enabling their use in a neural network trained with backpropagation. To showcase their potential as a drop-in replacement for existing ones, we evaluate our attention mechanisms on three large-scale tasks: textual entailment, machine translation, and sentence summarization. Our attention mechanisms improve interpretability without sacrificing performance; notably, on textual entailment and summarization, we outperform the standard attention mechanisms based on softmax and sparsemax.

연구 동기 및 목표

• 신경망 내 희소성과 구조적 어텐션 메커니즘을 위한 통합적이고 기울기 가능한 프레임워크를 개발하는 것.
• 입력 요소의 연속성 또는 그룹화와 같은 구조적 사전 지식을 통합함으로써 어텐션 메커니즘의 해석 가능성을 향상시키는 것.
• argmin/argmax 미분을 통한 효율적 기울기 계산을 통해 백프로파게이션을 통한 엔드 투 엔드 학습을 가능하게 하는 것.
• 구조적 어텐션 메커니즘이 실제 NLP 과제에서 표준 소프트맥스와 스파스맥스와 비교해 성능을 유사하거나 초월할 수 있음을 입증하는 것.

제안 방법

• 이 프레임워크는 정규화된 최대값 연산자에 기반하며, 정규화된 최대값 함수의 기울기는 실수 입력을 단체형 단순체 위의 확률 분포로 매핑한다.
• 특정 정규화 항(예: 소프트맥스의 경우 제곱 L2, 스파스맥스의 경우 L1)을 선택함으로써 이는 소프트맥스와 스파스맥스의 특수한 경우로 일반화된다.
• 융합 라소 페널티를 통합함으로써 퓌즈드맥스를 도입하여 입력 요소의 연속 세그먼트에 대한 어텐션을 장려한다.
• OSCAR 페널티를 적용함으로써 오스카맥스를 도입하여, 가능한 비연속적인 입력 요소의 그룹화에 대해 동일한 어텐션을 장려한다.
• 기본이 되는 볼록 최적화 문제의 해를 위한 야코비안 계산 방법을 유도함으로써 전방 및 역방향 전파를 효율적으로 수행할 수 있다.
• 자동 미분를 활용한 신경망 내 엔드 투 엔드 학습을 지원한다.

실험 결과

연구 질문

• RQ1 신경망 내에서 희소성과 구조적 어텐션 가중치를 생성하기 위한 통합적이고 기울기 가능한 프레임워크를 설계할 수 있는가?
• RQ2 융합 라소 또는 OSCAR와 같은 구조적 정규화는 어떻게 어텐션 메커니즘에 통합되어 해석 가능성을 향상시킬 수 있는가?
• RQ3 이러한 구조적 어텐션 메커니즘은 실제 NLP 과제에서 표준 소프트맥스와 스파스맥스와 비교해 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 백프로파게이션 동안 전방 및 역방향 전파를 효율적으로 계산하기 위한 알고리즘은 무엇인가?

주요 결과

• 제안된 퓌즈드맥스 메커니즘은 텍스트 함의 및 문장 요약 과제에서 소프트맥스와 스파스맥스를 모두 능가하며, DUC 2004 데이터셋에서 ROUGE-L 스코어 25.55를 기록했다.
• 기존의 Gigaword 요약 과제에서는 퓌즈드맥스가 ROUGE-L 스코어 33.69를 기록하여 스파스맥스(33.64)를 약간 앞서고, 소프트맥스(32.92)를 크게 앞섰다.
• 오스카맥스 메커니즘은 소프트맥스나 스파스맥스로는 달성할 수 없는 구조적이고 그룹화된 어텐션 패턴을 생성하여 성능을 훼손하지 않으면서도 해석 가능성을 향상시켰다.
• 정규화된 최적화 문제의 해를 위한 야코비안 계산 방법을 유도함으로써 이 프레임워크는 어텐션 메커니즘을 통한 효율적 백프로파게이션을 가능하게 했다.
• 실험 결과 퓌즈드맥스와 오스카맥스는 세 가지 다양한 NLP 과제에서 연속적이거나 그룹화된 입력 세그먼트에 집중함으로써 해석 가능성을 향상시키며, 동시에 모델 정확도를 유지하거나 향상시켰다.