[논문 리뷰] Neural Network-Based Abstract Generation for Opinions and Arguments

Lu Wang, Ling Wang|arXiv (Cornell University)|2016. 06. 09.

Topic Modeling참고 문헌 34인용 수 17

한 줄 요약

이 논문은 영화 리뷰나 논란이 있는 주제에 대한 논쟁과 같은 의견적인 텍스트에 대한 개괄적 요약을 위한 주의 기반 신경망 모델을 제안한다. 중요한 샘플링을 통해 주목할 만한 입력 단위에 집중함으로써, 모델은 유창하고 간결하며 정보가 풍부한 한 문장 요약을 생성하며, 두 개의 새로운 데이터셋에서 자동 평가와 인간 평가 모두에서 최신 추출형 및 개괄형 방법을 능가한다.

ABSTRACT

We study the problem of generating abstractive summaries for opinionated text. We propose an attention-based neural network model that is able to absorb information from multiple text units to construct informative, concise, and fluent summaries. An importance-based sampling method is designed to allow the encoder to integrate information from an important subset of input. Automatic evaluation indicates that our system outperforms state-of-the-art abstractive and extractive summarization systems on two newly collected datasets of movie reviews and arguments. Our system summaries are also rated as more informative and grammatical in human evaluation.

연구 동기 및 목표

• 다양한 의견적인 텍스트 유닛들로부터 자연스럽고 간결하며 정보가 풍부한 요약문을 생성할 수 있는 신경망 기반의 개괄적 요약 모델을 개발하는 것.
• 일반적으로 반복적이거나 문법적으로 잘못된 내용을 포함하는 추출형 방법의 한계를 해결하는 것.
• 논쟁 집합에서 주장을 생성하는 것, 이는 의견 요약 분야에서의 새로운 과제이다.
• 입력 텍스트 유닛들을 중요도 기반으로 샘플링하여 대규모 입력 세트에서의 학습 효율성과 모델 성능을 향상시키는 것.
• 의견적인 텍스트에서 기존의 추출형 및 개괄형 요약 시스템보다 뛰어난 성능을 보여주는 것.

제안 방법

• 모델는 주어진 여러 입력 텍스트 유닛들 사이에서 주목할 만한 정보를 집중적으로 분석하기 위해 주의 메커니즘을 활용한 순서에서 순서로 학습 기반의 인코더-디코더 아키텍처를 사용한다.
• 중요도 기반 샘플링 방법을 통해 학습된 중요도 점수에 기반해 입력 텍스트 유닛의 부분집합을 선택함으로써 학습 효율성과 모델 일반화 능력을 향상시킨다.
• 중요도 점수는 쌍별 선호도 기반 정규화를 갖는 새로운 회귀 모델을 사용해 추정되며, 정보가 풍부한 입력 유닛을 우선시한다.
• 디코더는 인코더의 컨텍스트를 소프트 주의를 통해 입력 표현에 대해 활용하면서 토큰 단위로 개괄적 요약을 생성한다.
• 모델는 두 개의 새로운 데이터셋—영화 리뷰 데이터셋과 논란이 있는 주제에 대한 논쟁 데이터셋—에서 종합적으로 학습된다.
• n-best로 생성된 요약문에 대한 재순서 정렬을 통한 후처리 과정을 통해 요약의 정보성과 전체 성능이 향상된다.

실험 결과

연구 질문

• RQ1 주목적 기반 신경망이 다수의 의견적인 텍스트 유닛들로부터 효과적으로 개괄적 요약을 생성할 수 있는가?
• RQ2 균일 샘플링 또는 상위-K 샘플링과 비교해 중요도 기반 샘플링이 모델 성능과 학습 효율성을 향상시키는가?
• RQ3 수동으로 제작된 템플릿에 의존하지 않고도 문법적으로 올바르고 정보가 풍부한 요약문을 생성할 수 있는가?
• RQ4 제안된 모델이 의견적인 텍스트에서 최신 추출형 및 개괄형 요약 시스템과 비교해 어떻게 성능을 냈는가?
• RQ5 모델이 영화 리뷰나 논쟁 집합과 같은 다양한 종류의 의견적인 콘텐츠에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 모델은 Rotten Tomatoes 영화 리뷰 데이터셋에서 BLEU 점수 24.88을 기록하여 이전 최고 성능 모델(19.72)을 능가했다.
• Ideae debate 논쟁 데이터셋에서 중요도 기반 샘플링을 사용한 경우, 균일 샘플링 또는 상위-K 샘플링보다 더 높은 METEOR 점수를 기록하여 더 우아하고 관련성이 높은 요약을 생성함을 시사했다.
• 인간 평가 결과, 제안된 모델가 생성한 요약문은 베이스라인 시스템의 요약문보다 더 정보가 풍부하고 문법적으로 올바르게 평가되었다.
• 중요도 기반 샘플링은 상위-K 샘플링과 유사한 성능을 달성하면서도 더 효율적이었으며, 대규모 입력 세트 처리에 있어 효과성을 입증했다.
• n-best로 생성된 요약문의 재순서 정렬이 요약 품질을 크게 향상시켜, 모델 출력물이 정보성 향상을 위해 후처리를 통해 개선될 수 있음을 시사했다.
• 모델는 때때로 잘못된 사실 정보를 생성하는 경향이 있었으며, 예를 들어 배우나 감독을 잘못 기재하는 경우가 있었고, 이는 향후 작업에서 엔티티 수준의 추론 능력을 향상시킬 필요가 있음을 시사한다.