[논문 리뷰] Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization

Beliz Gunel, Chenguang Zhu외 2명|arXiv (Cornell University)|2020. 06. 27.

Topic Modeling참고 문헌 16인용 수 27

한 줄 요약

이 논문은 Transformer-XL 기반의 인코더-디코더 아키텍처에 Wikidata 엔티티 지식을 통합하여 지식 강화 및 일관성 향상을 도모한 개선된 개괄적 요약 모델을 제안한다. 구조적 세계 지식을 통합하고 순환성과 상대적 위치 인코딩을 활용함으로써 모델은 사실적 일관성과 장거리 맥락 일관성을 향상시켜 표준 트랜스포머보다 높은 ROUGE 점수를 기록하고, 사실적으로 정확하며 일관성 있는 요약을 생성한다.

ABSTRACT

Neural models have become successful at producing abstractive summaries that are human-readable and fluent. However, these models have two critical shortcomings: they often don't respect the facts that are either included in the source article or are known to humans as commonsense knowledge, and they don't produce coherent summaries when the source article is long. In this work, we propose a novel architecture that extends Transformer encoder-decoder architecture in order to improve on these shortcomings. First, we incorporate entity-level knowledge from the Wikidata knowledge graph into the encoder-decoder architecture. Injecting structural world knowledge from Wikidata helps our abstractive summarization model to be more fact-aware. Second, we utilize the ideas used in Transformer-XL language model in our proposed encoder-decoder architecture. This helps our model with producing coherent summaries even when the source article is long. We test our model on CNN/Daily Mail summarization dataset and show improvements on ROUGE scores over the baseline Transformer model. We also include model predictions for which our model accurately conveys the facts, while the baseline Transformer model doesn't.

연구 동기 및 목표

• 신경망 기반의 요약 모델에서 자주 발생하는 사실적 일관성 부족 문제를 해결하기 위해, 허구적이거나 사실과 어긋난 내용을 생성하는 경향이 있는 모델의 문제를 해결한다.
• 표준 트랜스포머의 고정된 시퀀스 제약를 극복하여 장기 요약에서의 일관성을 향상시키기 위해 노력한다.
• 요약 생성 과정 중 사실 인식 능력을 향상시키기 위해 외부 세계 지식인 Wikidata의 지식을 어텐션 메커니즘에 통합한다.
• ROUGE 지표 외에 인간의 판단을 반영할 수 있는 사실적 정확성과 일관성 평가를 통해 모델 성능을 평가한다.
• 엔티티 연결을 사전 처리 파ipeline이 아닌 종단 간 구성 요소로 통합하는 방법을 탐색한다.

제안 방법

• 장거리 의존성 모델링을 위해 Transformer-XL의 영감을 받은 순환성과 상대적 위치 인코딩을 적용한 확장된 트랜스포머 인코더-디코더 아키텍처를 사용한다.
• 엔티티 수준의 지식을 Wikidata에서 추출하여 쿼리, 키, 밸류 행렬에 투영함으로써 수정된 어텐션 메커니즘을 도입한다.
• 이전 세그먼트의 은닉 상태를 유지하기 위해 스탑그라디언트 연산을 적용하여 장거리 입력 시퀀스 간의 맥락 연속성을 확보한다.
• 절대 위치 편향 없이 상대적 위치에 주목할 수 있도록 학습 가능한 매개변수(u, v, Wk,R)를 사용한 상대적 위치 인코딩을 적용한다.
• 토큰 임베딩과 엔티티 표현을 조합하는 하이브리드 어텐션 공식을 통해 Wikidata 엔티티 임베딩을 어텐션 계산에 통합한다.
• 표준 크로스 엔트로피 손실을 사용해 종단 간 훈련을 수행함으로써 어텐션, 지식 통합, 생성 과정의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 Wikidata에서 유도한 엔티티 수준의 지식을 통합하면 요약 생성 시 사실적 일관성이 향상되는가?
• RQ2 Transformer-XL의 순환성과 상대적 위치 인코딩을 적용하면 장거리 맥락 요약에서 일관성이 향상되는가?
• RQ3 장기 입력 기사에 대해 표준 트랜스포머와 비교했을 때 제안된 모델은 사실적 정확성과 일관성 측면에서 어떻게 성능을 내는가?
• RQ4 ROUGE 점수와 인간 평가의 사실적 정확성 및 일관성 간 상관관계는 어느 정도인가?
• RQ5 엔티티 연결을 종단 간 구성 요소로 통합한 모델이 파ipeline 기반 접근 방식을 능가하는가?

주요 결과

• 동일한 초모수 조건에서 CNN/Daily Mail 데이터셋에서 제안된 모델은 베이스라인 트랜스포머보다 높은 ROUGE 점수를 기록한다.
• 베이스라인 트랜스포머가 스티브 매클린이 42세였거나 이전에 맨체스터 유나이티드의 감독이었다고 잘못 기재하는 등 환각 현상을 보이는 반면, 제안된 모델은 사실적으로 정확한 요약을 생성한다.
• 베이스라인 모델이 실패하는 바에 비해 제안된 모델은 폴 클레멘트가 레알 마드리드의 감독이었고 이전에 잉글랜드 대표팀의 감독이었다는 사실을 정확히 식별한다.
• Transformer-XL 기반 아키텍처만으로도 일관성이 향상되어 장기 입력 기사에 대해서도 인간이 읽을 수 있는 요약을 생성하지만, 베이스라인 모델은 이와 반대로 혼란스러운 출력을 낸다.
• 수동적 사실 확인 결과, 제안된 모델은 플레이어의 부상 기록과 지도자 역할 이력과 같은 Wikidata의 엔티티 사실을 정확히 반영하는 반면, 베이스라인 모델은 이를 따르지 않는다.
• 연구 결과, ROUGE 점수만으로는 요약 생성의 정확성 평가가 부족하며, 추출 기반 전략에 치우쳐 사실적 정확성이나 일관성을 효과적으로 반영하지 못함을 시사한다.