[논문 리뷰] Abstractive Summarization of Reddit Posts with Multi-level Memory Networks

Byeongchang Kim, Hyunwoo Kim외 1명|arXiv (Cornell University)|2018. 11. 02.

Topic Modeling참고 문헌 50인용 수 60

한 줄 요약

본 논문은 Reddit TIFU를 Reddit에서 수집한 대규모 추상적 요약 데이터셋과 dilated convolutions 및 normalized gated tanh units를 사용하는 다층 메모리 네트워크(MMN)라는 새로운 모델을 소개한다.

ABSTRACT

We address the problem of abstractive summarization in two directions: proposing a novel dataset and a new model. First, we collect Reddit TIFU dataset, consisting of 120K posts from the online discussion forum Reddit. We use such informal crowd-generated posts as text source, in contrast with existing datasets that mostly use formal documents as source such as news articles. Thus, our dataset could less suffer from some biases that key sentences usually locate at the beginning of the text and favorable summary candidates are already inside the text in similar forms. Second, we propose a novel abstractive summarization model named multi-level memory networks (MMN), equipped with multi-level memory to store the information of text from different levels of abstraction. With quantitative evaluation and user studies via Amazon Mechanical Turk, we show the Reddit TIFU dataset is highly abstractive and the MMN outperforms the state-of-the-art summarization models.

연구 동기 및 목표

• 비공식 온라인 텍스트(Reddit TIFU)에서 대규모 추상적 요약 데이터세트를 도입한다.
• 다중 추상화 수준에서 정보를 저장하는 새로운 모델(MMN)을 개발하여 추상적 요약 작성을 개선한다.
• Reddit TIFU, Newsroom-Abs, XSum 데이터셋에서 MMN을 최신 추상적 요약 모델과 비교 평가한다.
• 데이터셋의 추상적 특성과 모델의 높은 수준의 추상 요약 생성을 평가한다.

제안 방법

• Reddit에서 122,933 쌍의 게시물–요약을 포함한 Reddit TIFU 데이터세트를 생성한다(TIFU-short 및 TIFU-long).
• 단어-, 문장-, 단락-, 문서 수준의 메모리를 갖는 다층 메모리 네트워크(MMN)를 확장된 합성을 통한 기억 작성을 위해 dilated convolutions를 사용하여 개발한다.
• 합성 메모리 프레임워크에서 계층 및 가중치 정규화를 갖춘 normalized gated tanh units(NGTU)을 도입한다.
• 전체 문서 임베딩에 대한 전역 조건부와 다층 메모리 슬롯에 대한 주의를 포함하는 WaveNet 유사 디코더를 사용한다.
• 예측을 규제하기 위해 레이블 스무딩 교차 엔트로피 손실로 학습한다.
• Perplexity와 ROUGE 지표, 더해 AMT(Amazon Mechanical Turk) 사용자 연구로 평가한다.

실험 결과

연구 질문

• RQ1 전통적인 뉴스 기반 데이터셋과 비교했을 때 Reddit TIFU는 매우 추상적인 데이터셋인가?
• RQ2 MMN 모델이 Reddit TIFU, Newsroom-Abs, XSum에서 최첨단 추상적 요약 모델들을 능가하는가?
• RQ3 다층 메모리 표현과 확장된 합성 작성이 표준 seq2seq 모델에 비해 추상적 요약 품질을 향상시키는가?
• RQ4 추상적 요약 작업에서 MMN의 인간 평가 성능은 기준 모델에 비해 어떤가?

주요 결과

• Reddit TIFU는 매우 추상적이며, Ext-Oracle 성능이 낮고 요약 내용이 원문 텍스트 전반에 걸쳐 분포하는 것으로 추상성의 확대가 나타난다.
• MMN은 ROUGE 및 perplexity에서 Reddit TIFU의 최신 추상적 모델들을 능가하며, TIFU-short와 TIFU-long 데이터셋에서 모두 우수하다.
• MMN은 Newsroom-Abs와 XSum에서도 이전의 추상적 방법들에 비해 경쟁력 있는 또는 우수한 결과를 보인다.
• 절제 연구는 dilated convolutions, 다층 메모리, 및 normalized gated tanh units가 MMN의 성능에 기여함을 보여준다.
• AMT 사용자 연구는 인간 평가자들이 MMN이 생성한 요약을 여러 기준선보다 더 선호한다는 것을 시사한다.