[논문 리뷰] Normalized Attention Without Probability Cage

Oliver Richter, Roger Wattenhofer|arXiv (Cornell University)|2020. 05. 19.

Topic Modeling참고 문헌 37인용 수 10

한 줄 요약

이 논문은 소프트맥스를 사용하지 않는 attention 메커니즘인 정규화된 attention(NAP)을 제안한다. 이는 소프트맥스 attention의 확률 단체 제약 조건을 L2 정규화로 대체하여 소프트맥스 attention의 볼록 Hull 제약 조건을 피한다. 이 방법은 하이퍼파rameter와 데이터 편향에 대한 모델의 강건성을 향상시키며, 25,000개 이상의 실험을 통해 시퀀스 작업에서 최신 기술 수준의 성능을 달성한다. 특히 장거리 컨텍스트 및 고어휘량 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Attention architectures are widely used; they recently gained renewed popularity with Transformers yielding a streak of state of the art results. Yet, the geometrical implications of softmax-attention remain largely unexplored. In this work we highlight the limitations of constraining attention weights to the probability simplex and the resulting convex hull of value vectors. We show that Transformers are sequence length dependent biased towards token isolation at initialization and contrast Transformers to simple max- and sum-pooling - two strong baselines rarely reported. We propose to replace the softmax in self-attention with normalization, yielding a hyperparameter and data-bias robust, generally applicable architecture. We support our insights with empirical results from more than 25,000 trained models. All results and implementations are made available.

연구 동기 및 목표

• 소프트맥스를 통해 attention 가중치를 확률 단체에 제약하는 데서 비롯하는 이론적 및 실용적 한계를 탐구한다.
• attention이 반드시 확률 분포를 표현해야 한다는 가정을 도전하며, 특히 모델 표현력과 초기화 편향에 미치는 영향을 고려한다.
• 소프트맥스 attention의 볼록 Hull 제약 조건을 피하는 일반 목적의 강건한 attention 메커니즘을 제안한다.
• 다양한 작업과 하이퍼파rameter 설정에서 NAP을 Transformer, 최대 풀링, 합 풀링 및 기타 attention 변종과 실증적으로 비교한다.
• 확률 단체 제약 조건을 제거함으로써 모델 일반화 능력이 향상됨을 보여주며, 특히 장거리 컨텍스트 및 고어휘량 시나리오에서 두드러진다.

제안 방법

• 자기 attention의 소프트맥스 연산을 L2 정규화로 대체하여 attention 가중치를 확률 단체가 아닌 단위 구면에 투영한다.
• attention 메커니즘을 정규화된 가중치 합으로 정의한다: o_i^m = Σ_j (a_i,j^m / ||a_i^m||_2) · v_j^m, 여기서 a_i,j^m = <q_i^m, k_j^m> / √d_h.
• attention 로짓에 학습 가능한 바이어스 항 b를 도입하여, 정규화가 효과가 없을 경우 합 풀링과 유사한 잔차 행동을 가능하게 한다.
• 표준 backpropagation를 사용해 모델을 훈련하고, 케이스 구분, 모드 탐지, 시퀀스 분류 등의 다수 작업에서 성능을 평가한다.
• 다양한 시퀀스 길이, 모델 깊이, 학습률, 어휘 크기에서 25,000개 이상의 모델을 훈련한 대규모 분석 실험을 수행한다.
• RGB 히트맵을 사용해 하이퍼파rameter 공간 전반에서의 모델 성능을 시각화하여 강건성과 일반화 능력을 강조한다.

실험 결과

연구 질문

• RQ1 attention 가중치를 확률 단체에 제약함으로써 자기 attention 메커니즘의 표현력이 어떻게 제한되는가?
• RQ2 소프트맥스 attention이 초래하는 초기화 수준의 편향은 무엇이며, 특히 토큰 고립과 볼록 Hull 제약 조건 측면에서 어떤가?
• RQ3 정규화 기반 attention 메커니즘이 소프트맥스 attention 및 전통적인 풀링 방법(합/최대)보다 강건성과 정확도 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ4 제안된 정규화된 attention 메커니즘은 더 긴 시퀀스 길이나 더 큰 어휘량과 같은 분포 이탈 상황에서 어떻게 성능을 보이는가?
• RQ5 새로운 attention 메커니즘이 학습률 및 모델 깊이와 같은 하이퍼파ram터에 민감도를 얼마나 줄이는가?

주요 결과

• 시퀀스 길이 128인 케이스 구분 작업에서 정규화된 attention(NAP)은 평균 검증 정확도 93.8%를 달성하여 BERT(71.5%)와 MTE(57.7%)를 크게 앞선다.
• 어휘 크기 256인 모드 탐지 작업에서 NAP는 평균 검증 정확도 84.6%를 기록하며, BERT(74.4%), MTE(64.9%), 최대 풀링(3.1%)을 모두 초월한다.
• NAP는 하이퍼파ram터 선택에 대해 뛰어난 강건성을 보이며, 특히 장거리 컨텍스트 설정에서 다양한 학습률과 모델 차원에서 높은 성능을 유지한다.
• 최대 풀링은 케이스 구분 작업에서 높은 정확도(90.9%)를 기록하지만, 어휘 크기가 클수록 모드 탐지 작업에서 실패하여 분포 이탈 상황에서의 일반화 능력이 떨어진다.
• 합 풀링은 케이스 구분 작업에서 정확도 29.1%로 낮게 나타나, attention 없이 복잡한 의존성을 모델링하는 데서 한계를 드러낸다.
• NAP 아키텍처는 모드 탐지 작업에서 더 긴 시퀀스(N=256)로 일반화가 잘 되어 있으며, 검증에서 64.3%의 정확도를 기록한다. 반면 최대 풀링은 2.1%로 급격히 떨어진다.