[논문 리뷰] Discourse-Aware Semantic Self-Attention for Narrative Reading Comprehension

Todor Mihaylov, Anette Frank|arXiv (Cornell University)|2019. 08. 28.

Topic Modeling참고 문헌 52인용 수 14

한 줄 요약

이 논문은 서사 독해 이해를 위한 자기주의 어텐션 트랜스포머 인코더에 핵심 참조, 의미 역할 레이블링(SRL), 논의 관계를 포함한 언어적 애너테이션을 통합하는 논의 인식 의미 자기주의 어텐션(DASSA) 메커니즘을 제안한다. 특정 논의-의미 관계에 초점을 맞춘 어텐션 헤드를 전문화시킴으로써, 이 모델은 NarrativeQA 데이터셋에서 기본 QANet 모델 대비 최대 +3.43 Rouge-L 향상률을 기록하며, 특히 장문의 맥락과 복잡한 추론 질문에서 성능 향상을 보였다.

ABSTRACT

In this work, we propose to use linguistic annotations as a basis for a extit{Discourse-Aware Semantic Self-Attention} encoder that we employ for reading comprehension on long narrative texts. We extract relations between discourse units, events and their arguments as well as coreferring mentions, using available annotation tools. Our empirical evaluation shows that the investigated structures improve the overall performance, especially intra-sentential and cross-sentential discourse relations, sentence-internal semantic role relations, and long-distance coreference relations. We show that dedicating self-attention heads to intra-sentential relations and relations connecting neighboring sentences is beneficial for finding answers to questions in longer contexts. Our findings encourage the use of discourse-semantic annotations to enhance the generalization capacity of self-attention models for reading comprehension.

연구 동기 및 목표

• 서사적 장문 텍스트에서 독해 이해 성능을 햖스키기 위해 논의-의미 언어적 애너테이션을 자기주의 어텐션 메커니즘에 통합하는 것.
• 논의 인식 어텐션 헤드가 장문 맥락 추론 작업에서 모델 일반화 능력을 향상시킬 수 있는지 조사하는 것.
• 핵심 참조, SRL, 논의 관계 등 다양한 언어적 애너테이션의 질문-답변 성능에 미치는 영향을 평가하는 것.
• 문장 내 및 문장 간 관계에 특화된 어텐션 헤드가 정답 정확도를 향상시키는지 확인하는 것.
• 각 애너테이션 유형이 특정 질문 유형(예: 누가, 언제, 왜, 어디서)과 맥락 길이에 미치는 기여도를 분석하는 것.

제안 방법

• 방법은 QANet 인코더를 확장하여 핵심 참조, SRL, 논의 관계(DR)와 같은 특정 언어적 애너테이션에 초점을 맞춘 논의 인식 자기주의 어텐션 헤드를 도입한다.
• 언어적 애너테이션은 기존 도구를 사용해 추출되며, 어텐션 메커니즘에 통합하기 위해 토큰 수준의 스파닝으로 변환된다.
• 각 어텐션 헤드는 특정 애너테이션 유형에 관여하는 토큰들만 어텐션 대상으로 하도록 제한되며, 어텐션 스파닝을 제한하기 위해 학습 가능한 스파닝 마스크가 사용된다.
• 다중 헤드 어텐션 메커니즘을 사용하며, 일부 헤드는 논의-의미 관계에 전용으로 할당되고, 나머지 헤드들은 일반 어텐션에 사용된다.
• 기본 모델의 총 파rameter 수나 어텐션 계산량을 늘리지 않음으로써 계산 효율성을 유지한다.
• 독해 이해 작업을 위해 인코더는 NarrativeQA 데이터셋에서 엔드 투 엔드로 미세조정된다.

실험 결과

연구 질문

• RQ1 논의-의미 애너테이션을 자기주의 어텐션 메커니즘에 통합하면 서사 독해 이해 성능 향상에 기여하는가?
• RQ2 핵심 참조, SRL, 논의 관계 중 어느 언어적 애너테이션 유형이 정답 정확도 향상에 가장 기여하는가?
• RQ3 문장 내 및 문장 간 관계에 특화된 어텐션 헤드를 도입하면 장문 맥락 서사에서 성능 향상이 이루어지는가?
• RQ4 다양한 애너테이션 유형이 특정 질문 유형(예: 누가, 언제, 왜, 어디서)에 미치는 영향은 어떠한가?
• RQ5 논의 인식 어텐션 통합이 더 긴 맥락 길이로의 일반화 능력을 향상시키는가?

주요 결과

• DASSA 모델은 NarrativeQA 데이터셋에서 기본 QANet 모델 대비 최대 +3.43 Rouge-L 향상률을 기록했다.
• 문장 내 논의 관계(DR)는 모든 맥락 길이에서 가장 강력하고 일관된 성과 향상을 보였다.
• 의미 역할 레이블링(SRL)은 특히 짧거나 중간 크기의 맥락에서 '누가'와 '언제' 질문에 대해 성능 향상에 기여했다.
• 핵심 참조 해결은 긍정적인 기여를 보였지만, 더 약하고 맥락에 따라 달라지는 성과를 보였으며, 주로 중간 크기의 맥락에서 유의미했다.
• 논의 관계(특히 명시적 DR)는 '왜'와 '어디서' 질문에서 성능 향상을 보였으며, 이는 인과적 및 공간적 관계에 대한 향상된 추론 능력을 의미한다.
• 모델는 더 긴 맥락(800–1000 토큰)으로의 일반화 능력 향상을 보였으며, 이는 논의 인식 어텐션이 장거리 의존성 파악에 기여한다는 가설을 지지한다.