[논문 리뷰] Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding

Shuohang Wang, Luowei Zhou외 6명|arXiv (Cornell University)|2020. 09. 13.

Topic Modeling참고 문헌 41인용 수 19

한 줄 요약

Cluster-Former는 긴 시퀀스에서 장거리 의존성을 효과적으로 모델링하기 위해 슬라이딩 윈도우 어텐션과 군집 기반 글로벌 어텐션을 결합한 새로운 희소 Transformer 아키텍처를 제안한다. 숨겨진 상태를 주기적으로 중심점으로 군집화하고 이러한 중심점들 위에서 Transformer 어텐션을 적용함으로써, 제곱형 복잡도 증가 없이 Quasar-T, SearchQA, Natural Questions (긴 답변)와 같은 장기 문맥 질문 응답 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Transformer has become ubiquitous in the deep learning field. One of the key ingredients that destined its success is the self-attention mechanism, which allows fully-connected contextual encoding over input tokens. However, despite its effectiveness in modeling short sequences, self-attention suffers when handling inputs with extreme long-range dependencies, as its complexity grows quadratically with respect to the sequence length. Therefore, long sequences are often encoded by Transformer in chunks using a sliding window. In this paper, we propose Cluster-Former, a novel clustering-based sparse Transformer to perform attention across chunked sequences. The proposed framework is pivoted on two unique types of Transformer layer: Sliding-Window Layer and Cluster-Former Layer, which encode local sequence information and global context jointly and iteratively. This new design allows information integration beyond local windows, which is especially beneficial for question answering (QA) tasks that rely on long-range dependencies. Experiments show that Cluster-Former achieves state-of-the-art performance on several major QA benchmarks.

연구 동기 및 목표

• 표준 자기어텐션의 장기 시퀀스에서의 제곱형 계산 및 메모리 복잡도 문제를 해결하기 위해.
• 슬라이딩 윈도우와 수작업으로 설계된 희소 어텐션 패턴을 초월하여 장거리 의존성 모델링을 향상시키기 위해.
• 장기 문맥 NLP 작업에서 글로벌 컨텍스트를 캡처하기 위한 유연하고 학습 가능한 메커니즘을 개발하기 위해.
• 장기 문맥 추론이 필요한 질문 응답 작업에서 최고 성능을 달성하기 위해.
• 이 방법이 QA를 초월하여 언어 모델링과 같은 다른 장기 문맥 NLP 작업으로 일반화될 수 있음을 보여주기 위해.

제안 방법

• 모델은 두 가지 유형의 Transformer 레이어를 사용한다: 고정 길이 청크 내에서 국소적 컨텍스트를 인코딩하기 위한 슬라이딩 윈도우 레이어.
• Cluster-Former 레이어는 이전 레이어의 은닉 상태에 대해 K-평균 군집화를 적용하여 의미적 또는 구조적으로 유사한 표현을 그룹화한다.
• 클러스터 중심점은 주기적으로 (예: 매 에포크마다) 누적된 은닉 상태의 메모리 백업을 사용하여 업데이트되며, 온라인 계산을 피한다.
• 군집화된 은닉 상태는 균일하게 청크로 나누어지고, 별도의 Transformer 레이어를 통해 처리되어 크로스 청크 어텐션을 가능하게 한다.
• 효율성과 장거리 모델링의 균형을 이루기 위해 국소(슬라이딩 윈도우) 어텐션과 글로벌(군집 기반) 어텐션을 하이브리드 아키텍처로 통합한다.
• 클러스터 수(C)는 하이퍼파라미터이며, QA 작업에서 최적 성능을 내기 위해 512개의 클러스터가 사용되었다.

실험 결과

연구 질문

• RQ1 군집 기반 어텐션은 장거리 의존성을 모델링하는 데 있어 수작업으로 설계된 희소 어텐션 패턴을 능가할 수 있는가?
• RQ2 랜덤 해싱이나 고정 위치 선택과 비교해 학습된 클러스터 중심점이 글로벌 컨텍스트 인코딩을 향상시키는가?
• RQ3 클러스터 수가 장기 문맥 질문 응답 작업 성능에 미치는 영향은 어떠한가?
• RQ4 Cluster-Former 아키텍처는 질문 응답을 초월하여 언어 모델링과 같은 다른 장기 문맥 NLP 작업으로 일반화될 수 있는가?
• RQ5 Transformer 스택 내에서 Cluster-Former 레이어를 배치할 때 가장 효과적인 레이어 위치는 어디인가?

주요 결과

• Cluster-Former는 Quasar-T, SearchQA, Natural Questions (긴 답변) 벤치마크에서 새로운 최고 성능을 달성한다.
• 512개의 클러스터를 사용할 경우, QA 작업에서 Sparse Attention 및 Locality-Sensitive Hashing(LSH) 기반 베이스라인을 크게 앞서는 성능을 보인다.
• 512개 클러스터 모델은 대부분의 QA 작업에서 64개 클러스터 버전보다 뚜렷이 우수한 성능을 보였지만, Natural Questions 긴 답변 작업에서는 토큰 기반의 클러스터링 패턴으로 인해 향상 폭이 미미했다.
• 최고의 성능은 적어도 한 개 이상의 Cluster-Former 레이어가 중간 레이어(예: 레이어 8–16)에 위치했을 때 달성되었으며, 끝부분에 배치(예: 레이어 22–23)하면 성능 저하가 발생했다.
• 언어 모델링 작업(Wikitext-103 및 Enwik8)에서도 Cluster-Former는 강력한 베이스라인을 능가했으며, 이는 QA를 초월한 일반화 능력을 입증한다.
• 정성적 분석을 통해 Cluster-Former가 의미적으로 유사한 토큰(예: 시간 어휘, 실체)뿐만 아니라 매우 먼 은닉 상태(예: 6000+ 토큰 떨어진 곳)도 동일한 클러스터로 그룹화하는 것을 확인했으며, 이는 효과적인 장거리 의존성 탐지 능력을 시사한다.