[논문 리뷰] Multi-Scale Self-Attention for Text Classification

Qipeng Guo, Xipeng Qiu외 3명|arXiv (Cornell University)|2019. 12. 02.

Topic Modeling참고 문헌 41인용 수 4

한 줄 요약

이 논문은 일반화 성능 향상을 위해 다양한 수용장역(스케일)을 가진 개별 어텐션 헤드를 부여하는 새로운 다중 헤드 어텐션 메커니즘인 멀티스케일 자기어텐션(MSMSA)을 제안한다. 얕은 레이어에서는 작은 스케일 헤드를 사용하고 깊은 레이어에서는 스케일을 균형 있게 조절함으로써, 표준 트랜스포머보다 21개 데이터셋에서 일관되고 뚜렷한 정확도 향상을 달성한다. 특히 소형에서 중형 규모의 벤치마크에서 두드러진 성능 향상을 보였다.

ABSTRACT

In this paper, we introduce the prior knowledge, multi-scale structure, into self-attention modules. We propose a Multi-Scale Transformer which uses multi-scale multi-head self-attention to capture features from different scales. Based on the linguistic perspective and the analysis of pre-trained Transformer (BERT) on a huge corpus, we further design a strategy to control the scale distribution for each layer. Results of three different kinds of tasks (21 datasets) show our Multi-Scale Transformer outperforms the standard Transformer consistently and significantly on small and moderate size datasets.

연구 동기 및 목표

• 작은 크기와 중간 크기의 텍스트 분류 데이터셋에서 표준 자기어텐션 메커니즘이 인덕티브 바이어스가 부족해 일반화 성능이 떨어지는 문제를 해결한다.
• 자기어텐션 메커니즘에 다중스케일 인덕티브 바이어스를 통합하여 특징 학습 능력과 모델의 강건성을 향상시킨다.
• 언어의 계층적 구조를 영감으로 삼아 얕은 레이어에서는 국소(작은 스케일) 헤드를 선호하고 깊은 레이어에서는 균형 잡힌 스케일을 사용하는 스케일 분포 전략을 설계한다.
• 표준 트랜스포머 아키텍처를 대체하거나 추가 컴포onent이 필요 없이도 다중스케일 어텐션으로 성능 향상을 입증한다.

제안 방법

• 각 어텐션 헤드가 가변 크기의 수용장역(스케일)을 갖는 멀티스케일 다중헤드 자기어텐션(MSMSA)을 제안하며, 어텐션 계산을 위한 컨텍스트 윈도우를 제한한다.
• 헤드의 스케일을 헤드가 참조하는 토큰 수로 정의하며, 작은 스케일은 국소 패턴에 강조를 두고 큰 스케일은 전반적인 맥락을 포괄한다.
• 하이퍼파라미터 α로 제어되는 학습 가능한 스케일 분포 전략을 도입하며, α가 클수록 얕은 레이어에서 국소 바이어스가 증가한다.
• 표준 다중헤드 어텐션과 피드포워드 네트워크를 다중스케일 어텐션 메커니즘으로 대체하여 MSMSA 레이어를 스택함으로써 멀티스케일 트랜스포머를 구성한다.
• 다섯 가지 후보 스케일(1, 3, N/16, N/8, N/4)을 사용하는 스케일 선택 전략을 도입하며, 여기서 N은 시퀀스 길이다.
• 모든 실험에서 동일한 하이퍼파라미터를 사용하여 표준 최적화(Adam, 드롭아웃, 가중치 감쇠)를 사용해 텍스트 분류 작업에서 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 자기어텐션에 다중스케일 인덕티브 바이어스를 통합하면 작은 크기와 중간 크기의 텍스트 분류 데이터셋에서 일반화 성능 향상이 이루어지는가?
• RQ2 텍스트 분류에서 다중스케일 자기어텐션에 최적의 레이어 간 스케일 분포 전략은 무엇인가?
• RQ3 모델의 파라미터 수와 레이어 수를 동일하게 유지할 때 다중스케일 어텐션은 단일스케일 어텐션 메커니즘을 능가하는가?
• RQ4 스케일 분포 선택(예: 얕은 레이어에서 국소 바이어스)이 전역 또는 비균형 분포와 비교해 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 아키텍처의 대대적 개선 없이도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 테스트한 21개 모든 데이터셋에서 표준 트랜스포머보다 멀티스케일 트랜스포머가 뛰어난 성능을 보였으며, 특히 소형 및 중형 규모 데이터셋에서 일관되고 뚜렷한 향상을 보였다.
• 양의 α 값(얕은 레이어에서 국소 바이어스를 선호)을 사용할 경우 최고의 성능을 기록했으며, SNLI 데이터셋에서 85.9%의 정확도를 달성했고, 최악의 α 값 사용 시 84.3%에 그쳤다.
• 균형 잡힌 스케일 분포(α = 0.5)를 가진 모델은 SNLI에서 85.9%의 정확도를 기록했으며, 모든 단일스케일 모델보다 뛰어났고, 단일스케일 모델의 최고 정확도는 84.3%에 그쳤다.
• 고정된 스케일(예: N/4)을 사용하는 단일스케일 모델은 성능이 크게 떨어졌으며, 정확도가 80.7%로 하락하여 고정된 스케일 어텐션은 유연성이 떨어진다는 것을 시사했다.
• α = 1.0(얕은 레이어에서 강한 국소 바이어스)을 사용한 모델은 SNLI에서 85.5%의 정확도를 기록했으며, 이는 국소 인덕티브 바이어스가 성능 향상에 핵심적임을 보여주었다.
• 중간 크기의 학습 데이터(예: SNLI의 55만 건)를 사용할 때도 멀티스케일 트랜스포머가 표준 트랜스포머를 능가했으며, 이는 스케일 바이어스를 통한 사전 지식이 데이터 의존도를 감소시킨다는 것을 시사한다.