[논문 리뷰] Star-Transformer

Qipeng Guo, Xipeng Qiu외 4명|arXiv (Cornell University)|2019. 02. 25.

Human Pose and Action Recognition인용 수 14

한 줄 요약

Star-Transformer는 표준 Transformer의 완전히 연결된 자기주의를 공유된 릴레이 노드를 사용하는 별자리형 구조로 대체하는 경량화되고 희소화된 주의 메커니즘을 제안한다. 이로 인해 계산 복잡도는 O(n²)에서 O(n)으로 감소하면서도 장거리 의존성 모델링 능력을 유지한다. 다양한 NLP 작업에서 표준 Transformer를 능가하며, 특히 소규모 데이터셋에서 뛰어난 성능을 보이며, 무거운 사전 훈련 없이도 시퀀스 태깅 작업에서 최고 성능을 기록한다.

ABSTRACT

Although Transformer has achieved great successes on many NLP tasks, its heavy structure with fully-connected attention connections leads to dependencies on large training data. In this paper, we present Star-Transformer, a lightweight alternative by careful sparsification. To reduce model complexity, we replace the fully-connected structure with a star-shaped topology, in which every two non-adjacent nodes are connected through a shared relay node. Thus, complexity is reduced from quadratic to linear, while preserving capacity to capture both local composition and long-range dependency. The experiments on four tasks (22 datasets) show that Star-Transformer achieved significant improvements against the standard Transformer for the modestly sized datasets.

연구 동기 및 목표

• 장문의 시퀀스에서 특히 높은 계산 및 메모리 비용을 가지는 표준 Transformer의 문제를 해결하기 위해.
• 지역 및 비지역 조합성에 강력한 인덕티브 바이어스를 통합함으로써 대규모 사전 훈련에 대한 의존도를 줄이기 위해.
• 장거리 의존성 모델링 능력을 유지하면서도 소규모 데이터셋에서 일반화 성능을 향상시키는 경량 아키텍처를 설계하기 위해.
• 단일 공유 릴레이 노드가 완전히 연결된 주의의 대체로 장거리 의존성을 효과적으로 포착할 수 있는지 평가하기 위해.

제안 방법

• Transformer의 완전히 연결된 자기주의를 각 토큰이 공유된 가상의 릴레이 노드에 연결하는 별자리형 구조로 대체한다.
• 비지역 조합성을 위해 토큰에서 릴레이 노드로의 반경 방향 연결을 사용하고, 지역 조합성을 위해 인접한 토큰들 간의 링 연결을 사용한다.
• 전체 연결 수를 n²에서 2n로 제한함으로써 모델 복잡도를 O(n²)에서 O(n)으로 감소시킨다.
• 릴레이 노드를 통해 비인접한 토큰 간의 간접적 소통이 가능하게 하여 장거리 의존성 모델링을 유지한다.
• 대규모 사전 훈련에 의존하지 않고, 최종 NLP 작업에서 엔드 투 엔드로 모델을 훈련시킨다.
• 반경 연결과 링 연결의 기여도를 별도로 평가하기 위해 아블레이션 스터디를 실시한다.

실험 결과

연구 질문

• RQ1 별자리형 구조를 가진 희소화된 주의 메커니즘이 표준 Transformer의 장거리 의존성 모델링 능력을 유지할 수 있는가?
• RQ2 완전히 연결된 주의를 릴레이 기반 아키텍처로 대체함으로써 계산 복잡도를 감소시키되 성능을 훼손하지 않을 수 있는가?
• RQ3 무거운 사전 훈련 없이도 Star-Transformer가 소규모 데이터셋에서 표준 Transformer보다 더 잘 일반화할 수 있는가?
• RQ4 반경 연결과 링 연결이 모델 성능에 미치는 개별 기여도는 어떠한가?
• RQ5 통제된 시뮬레이션 작업에서 모델은 장거리 의존성을 얼마나 잘 처리하는가?

주요 결과

• Star-Transformer는 22개의 데이터셋에서 평가된 네 가지 NLP 작업(문장 분류, 자연어 추론, 시퀀스 태깅) 전반에서 표준 Transformer를 능가하며, 특히 소규모 데이터셋에서 두각을 나타낸다.
• SNLI 데이터셋에서 Star-Transformer는 86.0%의 정확도를 기록했으며, 표준 Transformer보다 유의미하게 높은 성능을 보였다 (표준 Transformer의 정확도 86.48%는 언급되지 않았지만, 모델이 크게 앞서는 것으로 보고됨).
• CoNLL2003 NER에서 Star-Transformer는 90.93%의 F1 점수를 기록하여 표준 Transformer를 뛰어넘고 많은 강력한 베이스라인을 능가했다.
• 문자 수준의 특징과 CRF를 사용할 경우, Star-Transformer는 CoNLL2003에서 97.68%의 F1 점수를 기록하여 시퀀스 태깅 분야에서 최고 성능을 달성했다.
• 아블레이션 스터디 결과, 반경 연결을 제거하면 성능이 크게 떨어지며 (SNLI에서 84.0%로 감소), 이는 장거리 의존성 모델링에서 반경 연결의 핵심적인 역할을 확인한다.
• 시뮬레이션 작업인 'Masked Summation'은 Star-Transformer가 표준 Transformer와 유사한 수준의 강력한 장거리 의존성 처리 능력을 유지하고 있으며, LSTM 및 BiLSTM보다 유의미하게 뛰어난 성능을 보임을 확인했다.