[논문 리뷰] SG-Net: Syntax-Guided Machine Reading Comprehension

Zhuosheng Zhang, Yuwei Wu외 4명|arXiv (Cornell University)|2019. 08. 14.

Topic Modeling참고 문헌 54인용 수 25

한 줄 요약

이 논문은 문법적 의존 구조를 자기주의 메커니즘에 통합하여 BERT 기반 기계적 읽기 이해 성능을 향상시키는 문법 유도 신경망인 SG-Net을 제안한다. 언어학적으로 관련 있는 단어 구간에 주의를 제한하기 위해 관심이 있는 문법적 의존성(SDOI)을 도입함으로써, 표현 학습을 향상시키고 SQuAD 2.0 및 RACE 벤치마크에서 강력한 베이스라인 대비 뚜렷한 성능 향상을 달성한다.

ABSTRACT

For machine reading comprehension, the capacity of effectively modeling the linguistic knowledge from the detail-riddled and lengthy passages and getting ride of the noises is essential to improve its performance. Traditional attentive models attend to all words without explicit constraint, which results in inaccurate concentration on some dispensable words. In this work, we propose using syntax to guide the text modeling by incorporating explicit syntactic constraints into attention mechanism for better linguistically motivated word representations. In detail, for self-attention network (SAN) sponsored Transformer-based encoder, we introduce syntactic dependency of interest (SDOI) design into the SAN to form an SDOI-SAN with syntax-guided self-attention. Syntax-guided network (SG-Net) is then composed of this extra SDOI-SAN and the SAN from the original Transformer encoder through a dual contextual architecture for better linguistics inspired representation. To verify its effectiveness, the proposed SG-Net is applied to typical pre-trained language model BERT which is right based on a Transformer encoder. Extensive experiments on popular benchmarks including SQuAD 2.0 and RACE show that the proposed SG-Net design helps achieve substantial performance improvement over strong baselines.

연구 동기 및 목표

• 표준 자기주의가 모든 단어에 균일하게 주의를 기울여 언어학적 우선순위 없이 작동함으로써 장문이나 복잡한 문장에서 노이즈에 민감해지는 문제를 해결하기 위해.
• 의존 구조를 주의 메커니즘의 명시적 지침으로 통합하여 언어학적으로 관련 있는 단어 구간에 집중함으로써 기계적 읽기 이해 성능을 향상시키기 위해.
• 일반적인 자기주의와 문법 유도 자기주의를 융합하는 이중적 맥락 아키텍처를 설계하여 더 rich하고 언어학적으로 정보가 풍부한 표현을 얻기 위해.
• 사전적 검증을 통해 사전 훈련된 모델인 BERT와 같은 모델에서 문법적 구조가 자기주의 메커니즘을 어떻게 향상시키는지, 특히 장문이나 복잡한 질문에서 어떤 영향을 미치는지 확인하기 위해.

제안 방법

• 의존 구문 분석 트리에서 각 단어의 모든 조상 노드와 자신을 포함한 집합인 관심이 있는 문법적 의존성(SDOI)을 도입하여, 각 단어의 문법적 맥락을 정의한다.
• SDOI에 관련된 단어들만에 주의를 제한하는 문법 유도 자기주의 네트워크(SDOI-SAN)를 설계하여 노이즈를 줄이고 집중력을 향상시킨다.
• 원래 BERT 자기주의 레이어와 SDOI-SAN 레이어를 융합하는 이중 맥락 인코더인 SG-Net을 구성하며, 가중치 퓨전을 사용하여 일반적 표현과 문법적 정보를 반영한 표현을 모두 유지한다.
• SG-Net 프레임워크를 BERT 아키텍처에 적용하고, SQuAD 2.0 및 RACE 벤치마크에서 미세조정하여 성능 향상을 평가한다.
• 의존 구문 분석을 사용하여 각 단어의 SDOI를 추출하며, 특수 토큰([CLS], [PAD] 등)은 자신에게만 주의를 기울이도록 제약한다.
• 학습 가능한 가중치를 사용하여 두 주의 메커니즘의 표현을 융합하는 이중 맥락 집계 레이어를 도입하여, 연결 또는 양방향 주의보다 우수한 성능을 내도록 한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 모델에서 문법적 구조를 효과적으로 주의 메커니즘을 유도하는 데 사용할 수 있는가?
• RQ2 SDOI를 통해 문법적으로 관련 있는 단어 구간에 주의를 제한함으로써 노이즈를 줄이고 장문이나 복잡한 질문에서 모델의 강건성을 향상시킬 수 있는가?
• RQ3 일반 자기주의와 문법 유도 자기주의의 융합이 각각 단독으로 사용될 경우에 비해 성능 및 표현 품질 측면에서 어떻게 비교되는가?
• RQ4 이중 맥락 아키텍처는 스파니쉬 기반 및 다중 선택 기반 기계적 읽기 이해 과제에서 성능 향상에 어느 정도 기여하는가?

주요 결과

• SG-Net은 BERT 베이스라인 대비 SQuAD 2.0 개발 세트에서 정확도(EM) 1.0점, F1 점수 1.1점의 절대적 향상을 기록하여 각각 85.1 EM 및 87.9 F1에 도달한다.
• 장문의 질문에 대해서도 강건성을 보이며, 질문 길이가 길수록 성능이 향상되는 경향을 보였고, 이는 20단어를 초과하는 질문에서 성능이 크게 떨어지는 베이스라인과 대조된다.
• 제거 실험 결과 이중 맥락 메커니즘이 단일 주의 변형 및 연결 또는 이중 주의와 같은 다른 융합 방법보다 우수한 성능을 내는 것으로 확인되었다.
• 주의 가중치의 시각화 결과, 문법 유도 주의가 'Missouri Compromise' 및 '1850'과 같은 핵심 내용을 강조하고 있으며, 정답 스파니쉬와 일치함을 확인할 수 있었다.
• BERT 이후에 일반 자기주의 레이어를 추가해도 성능 향상이 없었으며, 이는 원래 자기주의가 이미 충분히 효과적이며, 문법 유도 자기주의가 중복되지 않는 보완 정보를 제공한다는 것을 시사한다.
• 이 방법은 다양한 MRC 과제에서 효과적이며, 스파니쉬 기반(SQuAD 2.0) 및 다중 선택(RACE) 벤치마크에서 모두 최고 성능 또는 경쟁력 있는 성능을 기록하였다.