[논문 리뷰] SG-Net: Syntax Guided Transformer for Language Representation

Zhuosheng Zhang, Yuwei Wu외 4명|arXiv (Cornell University)|2020. 12. 27.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 문법적 의존 구조를 자기주의 주의 메커니즘에 통합함으로써 언어 표현을 향상시키는 구조 지도형 Transformer 아키텍처인 SG-Net을 제안한다. 문법적 구조를 명시적 지침으로 삼아 주의 메커니즘의 정밀도를 높이기 위해 문법 지도형 출력의도(SDOI) 마스크를 도입함으로써, 언어학적으로 관련 있는 구간에 집중함으로써, 최소한의 아키텍처 변경으로도 기계적 독해, 자연어 추론, 신경 기계 번역 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Understanding human language is one of the key themes of artificial intelligence. For language representation, the capacity of effectively modeling the linguistic knowledge from the detail-riddled and lengthy texts and getting rid of the noises is essential to improve its performance. Traditional attentive models attend to all words without explicit constraint, which results in inaccurate concentration on some dispensable words. In this work, we propose using syntax to guide the text modeling by incorporating explicit syntactic constraints into attention mechanisms for better linguistically motivated word representations. In detail, for self-attention network (SAN) sponsored Transformer-based encoder, we introduce syntactic dependency of interest (SDOI) design into the SAN to form an SDOI-SAN with syntax-guided self-attention. Syntax-guided network (SG-Net) is then composed of this extra SDOI-SAN and the SAN from the original Transformer encoder through a dual contextual architecture for better linguistics inspired representation. The proposed SG-Net is applied to typical Transformer encoders. Extensive experiments on popular benchmark tasks, including machine reading comprehension, natural language inference, and neural machine translation show the effectiveness of the proposed SG-Net design.

연구 동기 및 목표

• 문법적 구조를 명시적 지침으로 삼아, 기반 Transformer 기반 모델의 주의 메커니즘 정밀도를 향상시키는 것.
• 긴 복잡한 텍스트에서 노이즈가 많고 구조가 없는 주의 메커니즘 문제를 해결하기 위해 언어학적으로 관련 있는 단어 간 의존성에 집중하는 것.
• 재학습 없이도 BERT와 같은 사전 학습된 모델을 향상시킬 수 있는 경량형 플러그인 솔루션을 개발하는 것.
• 기계적 독해, 추론, 번역과 같은 다양한 NLP 작업에서 구조 지도형 주의의 효과성과 일반화 능력을 검증하는 것.

제안 방법

• 문법적 의존 구조 분석에서 유도된 문법 지도형 출력의도(SDOI) 마스크를 도입하여 자기주의 주의 행렬을 제약한다.
• 원래 자기주의 주의 표현과 구조 지도형 주의 출력을 융합하는 이중적 맥락 아키텍처를 구성한다.
• SDOI 마스크를 사용하여 자기주의 주의 레이어의 주의 점수를 수정함으로써, 주의가 문법적으로 관련 있는 단어 쌍에 집중되도록 보장한다.
• 기본 인코더로 사전 학습된 BERT를 사용하고, 주의 메커니즘에 SDOI 마스크를 적용하는 추가 레이어를 추가함으로써 플러그인 통합을 가능하게 한다.
• 문법적 구문 분석을 사전에 처리하여, 핵심 Transformer 아키텍처를 재학습하거나 수정할 필요가 없도록 한다.
• 표준 주의와 구조 지도형 주의 표현을 모두 유지하는 이중 주의 메커니즘을 활용하여 맥락 이해를 향상시킨다.

실험 결과

연구 질문

• RQ1 문법적 의존 구조는 기반 Transformer 모델의 주의 메커니즘 정확성과 해석 가능성에 향상 효과를 줄 수 있는가?
• RQ2 구조 지도형 주의는 기계적 독해 및 자연어 추론과 같은 하류 NLP 작업 성능에 어떤 영향을 미치는가?
• RQ3 경량형 플러그인 모듈은 아키텍처 변경 없이도 BERT와 같은 사전 학습된 모델을 향상시킬 수 있는가?
• RQ4 구조 지도형 주의는 긴 복잡한 문장에서 관련 없는 또는 노이즈가 많은 단어에 대한 주의를 얼마나 줄일 수 있는가?
• RQ5 약한 또는 정확도가 떨어지는 문법적 구문 분석기 사용 시 이 방법의 견고성은 어떠한가?

주요 결과

• SG-Net은 기계적 독해 벤치마크에서 표준 BERT와 다른 강력한 기준 모델들을 능가하는 유의미한 성능 향상을 달성한다.
• 자연어 추론 및 신경 기계 번역과 같은 다양한 작업에서 일관된 성능 향상을 보이며, 뛰어난 일반화 능력을 입증한다.
• 구조 지도형 주의 메커니즘이 긴 복잡한 입력 시퀀스에서 관련 없는 단어에 대한 주의를 줄이는 데 기여한다.
• 이중 맥락 아키텍처는 원래 표현과 구조 기반 표현을 효과적으로 균형 잡아 모델의 견고성을 향상시킨다.
• 약한 문법적 분석기 사용 시에도 이중 주의 설계가 오류 전파를 완화하고 높은 성능을 유지한다.
• 이 방법은 경량이며 기존 Transformer 모델에 쉽게 적용 가능하여, 재학습 없이도 미세 조정만으로도 구현이 가능하다.