[논문 리뷰] Learning Multiscale Transformer Models for Sequence Generation

Bei Li, Tong Zheng외 4명|arXiv (Cornell University)|2022. 06. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 서브워드, 단어, 어구 수준의 스케일을 단어 경계와 어구 수준의 사전 지식을 활용하여 명시적으로 모델링함으로써 시퀀스 생성 성능을 향상시키는 유니버설 멀티스케일 트랜스포머(Umst)를 제안한다. 상위 스케일 간 상호관계—개별 간, 그룹 내, 그룹 간 관계를 통합함으로써 표준 및 멀티스케일 트랜스포머보다 일관된 성능 향상을 이끌어내며, 효율성 손실 없이 평균 +0.88 BLEU 및 +1 ROUGE 포인트 향상을 달성한다.

ABSTRACT

Multiscale feature hierarchies have been witnessed the success in the computer vision area. This further motivates researchers to design multiscale Transformer for natural language processing, mostly based on the self-attention mechanism. For example, restricting the receptive field across heads or extracting local fine-grained features via convolutions. However, most of existing works directly modeled local features but ignored the word-boundary information. This results in redundant and ambiguous attention distributions, which lacks of interpretability. In this work, we define those scales in different linguistic units, including sub-words, words and phrases. We built a multiscale Transformer model by establishing relationships among scales based on word-boundary information and phrase-level prior knowledge. The proposed extbf{U}niversal extbf{M}ulti extbf{S}cale extbf{T}ransformer, namely extsc{Umst}, was evaluated on two sequence generation tasks. Notably, it yielded consistent performance gains over the strong baseline on several test sets without sacrificing the efficiency.

연구 동기 및 목표

• 기존 멀티스케일 트랜스포머가 국소적 특징을 모델링할 때 단어 경계와 어구 수준의 구조를 忽略하는 한계를 해결하기 위해.
• 언어학적 스케일 계층을 통합함으로써 자기주의 어텐션 분포의 해석 가능성과 불확실성을 감소시키기 위해.
• 단어 경계와 어구 구조와 같은 사전 지식을 트랜스포머 아키텍처에 통합할 수 있는 유연하고 유니버설한 프레임워크를 설계하기 위해.
• 계산 효율성 손실 없이 시퀀스 생성 작업에서 일관된 성능 향상을 달성하기 위해.

제안 방법

• 논문은 NLP에서 스케일을 서브워드, 단어, 어구 수준으로 재정의하며, 서브워드 표현을 구성하기 위해 단어 경계와 어구 수준의 사전 지식을 활용한다.
• 세 가지 관계 모델링 메커니즘을 도입한다: 개별 간(스케일 내), 그룹 내(단어/어구 내), 그룹 간(스케일 간) 관계를 통해 계층적 종속성을 포착한다.
• Umst 모델은 이러한 스케일 인식 관계를 자기주의 어텐션 메커니즘에 통합하여 어텐션을 더 자연스럽게 의미 있는 언어 단위에 집중시킨다.
• 멀티헤드 어텐션을 단어 및 어구 경계를 존중하는 스케일 인식 어텐션 계산으로 개선한 수정된 트랜스포머 블록을 사용한다.
• 추가 파rameter나 복잡한 연산을 피함으로써 효율성을 유지하며, 기존 기법들(예: 상대적 위치 임베딩)과 수직적이다.
• 프레임워크는 확장 가능하도록 설계되어, 단어 경계와 어구 구조 외의 다른 언어학적 사전 지식도 통합할 수 있다.

실험 결과

연구 질문

• RQ1 서브워드, 단어, 어구 수준의 스케일을 명시적으로 모델링하면 시퀀스 생성 모델의 성능 향상에 기여하는가?
• RQ2 단어 경계와 어구 수준의 지식을 통합하면 어텐션 분포의 해석 가능성과 품질에 어떤 영향을 미치는가?
• RQ3 언어학적 구조를 존중하는 멀티스케일 트랜스포머가 표준 및 기존 멀티스케일 트랜스포머보다 시퀀스 생성 작업에서 뛰어난 성능을 내는가?
• RQ4 제안된 방법이 계산 비용이나 모델 복잡도 증가 없이 성능 향상을 달성할 수 있는가?
• RQ5 Umst는 단어 경계와 어구 구조 외의 추가 언어학적 사전 지식을 얼마나 넓게 통합할 수 있는가?

주요 결과

• 기본 설정에서 Umst는 표준 트랜스포머 대비 +0.88 BLEU 포인트 향상된 성능을 기록했다.
• 빅 모델 설정에서는 기준 모델 대비 +0.44 BLEU 포인트 향상되어, 다양한 모델 크기에서 일관된 성능 향상을 입증했다.
• 개념 요약 작업에서는 Umst가 트랜스포머 기준 모델 대비 평균 +1.0 ROUGE 포인트 향상된 성능을 기록했다.
• Umst의 어텐션 맵은 표준 모델의 모호하고 중복적인 분포와는 달리, 단어 경계에 잘 맞는 명확하고 해석 가능한 패턴을 보였다.
• 상대적 위치 임베딩과 조합했을 때 Umst는 추가로 +0.4 BLEU 포인트 향상되었으며, 이는 기존 개선 기법과의 수직성과 호환성을 시사한다.
• 다양한 테스트 세트에서 성능 향상이 일관되게 유지되어, 시퀀스 생성 작업에서의 강건성과 일반화 능력을 확인했다.