[논문 리뷰] Faithful to the Original: Fact Aware Neural Abstractive Summarization

Ziqiang Cao, Furu Wei외 2명|arXiv (Cornell University)|2017. 11. 13.

Topic Modeling인용 수 174

한 줄 요약

논문은 FTSum이라는 이중-attention 추상 요약 모델을 제안하며, OpenIE에서 추출된 사실 설명과 의존성 구문 분석을 사용해 충실도를 향상시키고 Gigaword에서 가짜 요약을 크게 줄이고 정보성을 개선한다.

ABSTRACT

Unlike extractive summarization, abstractive summarization has to fuse different parts of the source text, which inclines to create fake facts. Our preliminary study reveals nearly 30% of the outputs from a state-of-the-art neural summarization system suffer from this problem. While previous abstractive summarization approaches usually focus on the improvement of informativeness, we argue that faithfulness is also a vital prerequisite for a practical abstractive summarization system. To avoid generating fake facts in a summary, we leverage open information extraction and dependency parse technologies to extract actual fact descriptions from the source text. The dual-attention sequence-to-sequence framework is then proposed to force the generation conditioned on both the source text and the extracted fact descriptions. Experiments on the Gigaword benchmark dataset demonstrate that our model can greatly reduce fake summaries by 80%. Notably, the fact descriptions also bring significant improvement on informativeness since they often condense the meaning of the source text.

연구 동기 및 목표

• 추상 요약에서 충실도의 중요성을 강조하고 신경망 요약에서 가짜 사실 문제를 식별한다.
• 소스 문장과 추출된 사실 설명 모두를 조건으로 생성하는 사실 인식 이중 주의 시퀀스-투-시퀀스 모델(FTSum)을 제안한다.
• 사실 설명을 도입하면 가짜 요약이 줄고 표준 벤치마크에서 정보성이 향상된다는 것을 보인다.
• 사실 설명이 의미를 압축해 정보성을 높이고 유창성을 해치지 않는다는 것을 입증한다.

제안 방법

• 문장으로부터 OpenIE 트리플과 의존 구문 파싱 튜플을 사용해 사실 설명을 추출하고, 특수 구분자로 연결해 사실 설명 시퀀스를 형성한다.
• 소스 문장과 사실 설명을 각각의 BiGRU 인코더로 인코딩하여 h^x_i 와 h^r_i 표현을 얻는다.
• 문장과 사실 설명에 대해 개별적인 어텐션 컨텍스트 벡터 c^x_t 와 c^r_t 를 계산하고 이를 게이트 네트워크로 결합하여 디코딩에 사용할 c_t 를 형성한다.
• 결합된 컨텍스트에 조건화되어 요약을 생성하는 이중 어텐션 디코더(GRU with attention)를 사용하며, 두 가지 융합 방법이 있다: FTSum c(연결)와 FTSum g(게이트 기반 가중 합).
• Adam을 사용해 실제 요약의 가능도(음의 로그 가능도 손실)를 최대화하도록 학습하며, 드롭아웃과 그래디언트 클리핑 등의 표준 관행을 따른다.

실험 결과

연구 질문

• RQ1 사실 설명의 명시적 인코딩이 추상적 요약의 충실성을 높일 수 있는가?
• RQ2 소스 문장과 추출된 사실 설명에 대한 이중 주의가 생성된 요약의 가짜 사실을 줄이는가?
• RQ3 사실 설명이 정보성 및 Gigaword의 ROUGE 기반 평가 지표에 어떤 영향을 미치는가?
• RQ4 맥락 통합에서 게이트 기반 융합(FTSum g)과 단순 연결(FTSum c)의 영향 차이는 무엇인가?

주요 결과

• FTSum g는 개발 세트에서 비교 모델 중 가장 낮은 perplexity(16.4)를 달성하며, FTSum c(20.1)를 앞선다.
• FTSum g는 기본선 중에서 가장 높은 ROUGE 점수를 얻는다(RG-1: 37.27, RG-2: 17.65, RG-L: 34.24).
• 수작업 충실도 평가에서 FTSum g는 att-s2s의 27%에 비해 가짜 요약을 6%로 감소시키고, FTSum g의 충실한 출력은 87%이다.
• 사실 설명은 소스 문장의 단어보다 요약에 더 많이(약 40%) 복사될 가능성이 있어, 의미의 축약이 정보성을 향상시킨다.
• FTSum g의 게이트 메커니즘은 사실 설명의 영향력을 상대적 신뢰도와 일치시키며, 문장-사실 게이트 비율이 약 1.41에 가까워 0.415 근처에서 안정되고, 관찰된 복사 비율과 일치한다.
• FTSum 모델은 퍼플렉서티와 ROUGE 지표 모두에서 최첨단 기준선 대비 상당한 개선을 보이며, 핸드크래프트(feature) 없이 완전 데이터 기반이라는 점에서도 우수하다.