[논문 리뷰] Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information

Lisa Fan, Dong Yu외 1명|arXiv (Cornell University)|2018. 10. 14.

Topic Modeling참고 문헌 42인용 수 19

한 줄 요약

이 논문은 신뢰성 있는 사실 일致성과 강건성을 향상시키기 위해 의미 분석과 요약을 함께 학습하는 의미 인식 신경 추상적 요약 모델을 제안한다. 双중 주의 메커니즘과 세그먼트 기반 재정렬 기법을 사용하여 더 충실하고 중복이 적은 요약을 생성하며, 자동 평가와 인간 평가 모두에서 seq2seq 및 포인터-생성자 모델을 능가한다. 특히 주제에서 벗어난 문장이 삽입된 악성 조건 하에서도 성능이 뛰어나다.

ABSTRACT

Sequence-to-sequence (seq2seq) neural models have been actively investigated for abstractive summarization. Nevertheless, existing neural abstractive systems frequently generate factually incorrect summaries and are vulnerable to adversarial information, suggesting a crucial lack of semantic understanding. In this paper, we propose a novel semantic-aware neural abstractive summarization model that learns to generate high quality summaries through semantic interpretation over salient content. A novel evaluation scheme with adversarial samples is introduced to measure how well a model identifies off-topic information, where our model yields significantly better performance than the popular pointer-generator summarizer. Human evaluation also confirms that our system summaries are uniformly more informative and faithful as well as less redundant than the seq2seq model.

연구 동기 및 목표

• 신경 추상적 요약 모델의 의미 이해 부족으로 인한 사실 오류 및 중복 요약 문제를 해결하기 위해.
• 입력 텍스트에 포함된 주제에서 벗어난 또는 악성 정보를 강건하게 식별하고 무시할 수 있는 모델을 개발하기 위해.
• 의미 분석과 요약의 공동 학습을 통해 요약의 충실도, 정보성 향상 및 중복 감소를 위해.
• 의도적으로 불필요한 내용을 삽입한 조건에서의 강건성을 측정하기 위한 새로운 악성 평가 기준을 도입하기 위해.
• 실제 뉴스 데이터를 대상으로 자동 지표와 인간 평가를 통해 모델의 우수성을 검증하기 위해.

제안 방법

• 모델은 인간 요약 과정을 모방하여 입력 기사에서 주요 의미적 구조(예: 술어와 목적어)를 의미 디코더를 사용해 생성한다.
• 디코딩 중에 입력 기사와 생성된 의미적 구조 양쪽에 주의를 기울이는 이중 주의 메커니즘을 적용하여 의미적 내용과 요약 생성 간의 정렬을 향상시킨다.
• 다양하고 고급 품질의 요약 가설을 선택함으로써 내용 커버리지 향상과 중복 감소를 위해 디코더에서 세그먼트 기반 재정렬 전략을 적용한다.
• 의미 분석과 추상적 요약 작업을 동시에 최적화하는 공동 학습 목표를 통해 모델을 훈련시킨다.
• 입력에 주제와 관련 없는 문장을 소량 삽입하여 모델의 강건성을 시험하는 악성 평가 프로토콜을 도입한다.
• 의미 분석과 요약을 공동으로 학습할 수 있도록 공유 디코더 아키텍처를 사용하여 종단 간 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 입력 텍스트에 악성 주제에서 벗어난 문장이 삽입된 경우에도 신경 추상적 요약 모델이 얼마나 강건하게 작동할 수 있는가?
• RQ2 요약 파이프라인에 의미 분석을 통합하면 사실 일치성 향상과 중복 감소에 기여하는가?
• RQ3 악성 조건 하에서 제안된 모델의 성능은 seq2seq 및 포인터-생성자 모델과 비교해 어떻게 되는가?
• RQ4 인간 평가자들이 제안된 모델의 요약을 기존 모델의 요약보다 더 정보량이 많고 충실도가 높다고 평가하는 정도는 어느 정도인가?
• RQ5 의미 인식 디코딩 메커니즘은 추출적 조각을 줄이고 요약의 유창성과 간결성을 향상시키는가?

주요 결과

• 제안된 모델은 CNN/Daily Mail 벤치마크에서 seq2seq 및 포인터-생성자 모델보다 유의미하게 높은 ROUGE 및 METEOR 점수를 기록하여 자동 요약 품질이 뛰어나다는 것을 보여주었다.
• 악성 평가 조건에서 주제에서 벗어난 문장을 삽입했을 경우, 기준 모델 대비 성능 저하가 거의 없이 높은 성능을 유지하였다.
• 인간 평가 결과, 모델의 요약은 비중복성, 유창성, 충실도, 정보성 측면에서 seq2seq 모델보다 유의미하게 높은 평가를 받았다 (p < 0.05).
• 모델는 seq2seq 모델 대비 훨씬 적고 짧은 추출적 조각을 생성하여 중복을 크게 감소시켰다.
• 놀랍게도, 모델의 출력이 정보성과 유창성 측면에서 인간 기준 요약보다 26%의 경우에서 더 높은 평가를 받았는데, 이는 간결성과 명확성 덕분으로 여겨진다.
• 이중 주의 메커니즘에 정밀한 의미 역할을 사용했을 경우 ROUGE 점수가 약 0.5점 향상되어 의미 분석 향상의 가치를 확인시켰다.