[논문 리뷰] Simple and Effective Curriculum Pointer-Generator Networks for Reading Comprehension over Long Narratives

Yi Tay, Shuohang Wang외 7명|arXiv (Cornell University)|2019. 05. 26.

Topic Modeling참고 문헌 35인용 수 16

한 줄 요약

이 논문은 장편 서사 기반 독해를 위한 커리큘럼 학습 기반 포인터-ジェ너레이터 네트워크에 인트로スペ티브 어웨어니스 레이어(IAL)를 도입한다. 다양한 시각에서 점차 어려워지는 스토리(답변 가능성과 문서 길이의 변동)를 통해 훈련시킴으로써 모델의 견고성과 일반화 능력을 향상시키며, NarrativeQA에서 기존 방법 대비 51% 상대 BLEU-4 향상과 17% 상대 Rouge-L 향상을 달성하여 최신 기술 수준(SOTA)을 확립한다.

ABSTRACT

This paper tackles the problem of reading comprehension over long narratives where documents easily span over thousands of tokens. We propose a curriculum learning (CL) based Pointer-Generator framework for reading/sampling over large documents, enabling diverse training of the neural model based on the notion of alternating contextual difficulty. This can be interpreted as a form of domain randomization and/or generative pretraining during training. To this end, the usage of the Pointer-Generator softens the requirement of having the answer within the context, enabling us to construct diverse training samples for learning. Additionally, we propose a new Introspective Alignment Layer (IAL), which reasons over decomposed alignments using block-based self-attention. We evaluate our proposed method on the NarrativeQA reading comprehension benchmark, achieving state-of-the-art performance, improving existing baselines by $51\%$ relative improvement on BLEU-4 and $17\%$ relative improvement on Rouge-L. Extensive ablations confirm the effectiveness of our proposed IAL and CL components.

연구 동기 및 목표

• 장문의 서사 기반 독해 과제를 해결하기 위해, 수천 개의 토큰을 포함하는 문서에서 단순한 스팁 예측을 넘어서 복잡한 추론이 요구되는 문제에 대응한다.
• 훈련 중 다양한 검색 시나리오를 시뮬레이션하여 개방형 QA에서의 모델 견고성을 향상시키며, 실제 추론 환경을 모방한다.
• 답변가 반드시 컨텍스트에 명시적으로 존재해야 하는 표준 포인터 네트워크의 한계를 극복하기 위해 생성기 모듈을 통합한다.
• 질문과 컨텍스트 간의 정렬 모델링을 향상시키기 위해, 분해된 어텐션 맵을 근거로 하는 블록 기반 자기 어텐션 메커니즘을 도입한다.

제안 방법

• 모델는 두 가지 난이도 차원을 도입한 커리큘럼 학습 체계를 사용한다: (1) 답변이 컨텍스트에 존재하는지 여부(답변 가능성), (2) 검색된 문서의 크기(일관성과 이해 가능성).
• 포인터-제너레이터 아키텍처를 활용하여 컨텍스트의 토큰을 복사하거나 새로운 단어를 생성하도록 학습함으로써, 답변가 반드시 컨텍스트에 정확히 존재할 필요가 없도록 한다.
• 인트로スペ티브 어웨어니스 레이어(IAL)는 분해된 어텐션 표현에 블록 기반 국소 자기 어텐션을 적용하여 질문과 컨텍스트 간의 더 세밀하고 국소적 인식 기반 매칭을 가능하게 한다.
• 훈련 과정은 이러한 난이도 히우리스틱에 기반해 쉬운 샘플과 어려운 샘플을 번갈아가며 진행되어 점진적 학습과 더 나은 일반화를 촉진한다.
• 프레임워크는 엔드 투 엔드로 NarrativeQA 벤치마크에서 훈련되며, 생성된 답변에 대한 교차 엔트로피 손실 최적화를 통해 학습된다.
• 모델 평가에는 BLEU-4와 Rouge-L과 같은 표준 지표가 사용되며, 아블레이션 스터디를 통해 커리큘럼 학습과 IAL의 기여도가 확인된다.

실험 결과

연구 질문

• RQ1 답변 가능성과 문서 길이 기반 커리큘럼 학습이 장기 서사 독해에서 모델의 일반화 능력을 향상시키는가?
• RQ2 커리큘럼 훈련 체계를 적용한 포인터-제너레이터 아키텍처가 장기 서사 QA에서 표준 스팬 예측 모델보다 우월한가?
• RQ3 인트로スペ티브 어웨어니스 레이어(IAL)는 장기 컨텍스트 환경에서 기존 자기 어텐션 대비 어텐션 기반 추론을 얼마나 향상시키는가?
• RQ4 검색 기반 QA에서 훈련과 추론 간 분포 이탈을 완화하기 위해 훈련 중 다양한 데이터 샘플링을 적용하는 데 얼마나 효과적인가?
• RQ5 커리큘럼 학습과 생성 능력을 갖춘 모델이 답변가 컨텍스트에 명시적으로 존재하지 않는 경우에도 일반화할 수 있는가?

주요 결과

• 제안된 IAL-CPG 모델은 NarrativeQA 벤치마크에서 최신 기술 수준을 달성하였으며, 기존 SOTA 모델 대비 BLEU-4에서 51% 상대 향상을 기록하였다.
• 모델은 Rouge-L에서 17% 상대 향상을 달성하여 장기 서사 기반 문장 생성 품질이 뛰어나다는 것을 입증하였다.
• 아블레이션 스터디를 통해 커리큘럼 학습 체계와 인트로スペ티브 어웨어니스 레이어 모두 성능 향상에 기여한다는 것이 확인되었다.
• 강력한 스팬 예측 모델인 BiDAF 대비 BLEU-4 점수에서 10배 이상 향상되어 생성 기반 접근의 우수성을 입증하였다.
• NarrativeQA의 평가 체계는 결함이 있음을 발견하였으며, 어휘 불일치로 인해 의미적으로 올바른 답변도 점수를 받지 못하는 경우가 있었다.
• 강화 학습은 이 설정에서 답변 품질 향상에 효과적이지 않으며, 악영향을 미친 결과가 보고되었다.