[논문 리뷰] Bottom-Up Abstractive Summarization

Sebastian Gehrmann, Yuntian Deng외 1명|arXiv (Cornell University)|2018. 08. 31.

Topic Modeling인용 수 39

한 줄 요약

이 논문은 소스 문서에서 중요한 어휘를 식별한 후 유창하고 압축된 요약을 생성하기 위해 자료 효율적인 콘텐츠 선택기(Content Selector)를 사용하는 바텀업 추상적 요약 프레임워크를 제안한다. 복사 작업을 선택된 어휘에만 제한하기 위해 마스킹 기법을 적용함으로써, CNN-DM 및 NYT 데이터셋에서 ROUGE 점수를 2점 이상 향상시켰으며, 1,000개의 도메인 내 문장으로도 효과적인 도메인 전이가 가능하다.

ABSTRACT

Neural network-based methods for abstractive summarization produce outputs that are more fluent than other techniques, but which can be poor at content selection. This work proposes a simple technique for addressing this issue: use a data-efficient content selector to over-determine phrases in a source document that should be part of the summary. We use this selector as a bottom-up attention step to constrain the model to likely phrases. We show that this approach improves the ability to compress text, while still generating fluent summaries. This two-step process is both simpler and higher performing than other end-to-end content selection models, leading to significant improvements on ROUGE for both the CNN-DM and NYT corpus. Furthermore, the content selector can be trained with as little as 1,000 sentences, making it easy to transfer a trained summarizer to a new domain.

연구 동기 및 목표

• 엔드 투 엔드 신경망 추상적 요약 모델의 낮은 콘텐츠 선택 성능 문제를 해결하기 위해, 유창성은 유지하나 과도하게 추출적 요약을 생성하는 경향이 있는 모델의 문제를 해결한다.
• 최소한의 학습 데이터로도 높은 재현율과 정밀도를 확보할 수 있도록 소스 문서 내 중요한 어휘를 식별할 수 있는 콘텐츠 선택 모델을 개발한다.
• 콘텐츠 선택을 바텀업 어텐션 메커니즘으로 통합하여 추상적 생성 과정을 제약함으로써, 압축성과 관련성 향상을 도모한다.
• 콘텐츠 선택기를 도메인 내 문장 약 1,000개로만 학습시켜 새로운 도메인으로의 효과적인 전이 학습을 가능하게 한다.
• 추상적 요약에서 ROUGE 점수를 향상시키는 데 있어 복잡한 엔드 투 엔드 학습이 아닌, 개선된 콘텐츠 선택이 핵심임을 입증한다.

제안 방법

• 맥락 기반 단어 임베딩(E.g., ELMo)을 사용하여 일련의 태깅 작업으로 콘텐츠 선택을 정의함으로써, 요약에 포함될 가능성이 높은 토큰을 식별한다.
• 각 단어가 요약에 포함되어야 할지 여부를 이진 마스크로 예측하는 별도의 콘텐츠 선택 모델을 학습하며, 재현율(>60%)과 정밀도(>50%)를 확보한다.
• 추론 단계에서 마스크를 적용하여 포인터-제너레이터 디코더가 선택된 어휘에서만 복사하도록 제한함으로써 문법적이고 압축된 출력을 보장한다.
• 선택되지 않은 단어의 복사를 방지하기 위해 마스킹을 적용함으로써, 모델이 대체어휘를 생성하거나 어휘를 재구성하도록 유도함으로써 추상성 향상을 이룬다.
• 다중 작업 학습 및 미분 가능 마스킹과 같은 다양한 학습 전략을 실험하여 콘텐츠 선택기를 엔드 투 엔드 모델에 통합한다.
• CNN-DM 및 NYT 데이터셋에서 ROUGE 메트릭을 사용하여 강력한 베이스라인(강화 학습 및 포인터-제너레이터 모델 포함)과의 비교를 통해 방법의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 간단하고 자료 효율적인 콘텐츠 선택 모델이 모델 복잡도를 증가시키지 않고도 추상적 요약 성능을 향상시킬 수 있는가?
• RQ2 마스킹 기반 바텀업 어텐션 메커니즘을 적용할 경우, 표준 포인터-제너레이터 모델 대비 더 나은 콘텐츠 압축 및 높은 ROUGE 점수를 달성할 수 있는가?
• RQ3 오직 1,000개의 도메인 내 문장으로만 학습된 콘텐츠 선택기가 새로운 도메인에서 요약 성능을 얼마나 향상시킬 수 있는가?
• RQ4 바텀업 접근 방식은 추출적 요약과 추상적 요약의 균형에 어떤 영향을 미치는가? 특히 신규 어휘 사용과 어휘 조합 길이 측면에서 어떻게 변화하는가?
• RQ5 추론 시 페널티만으로도 제안된 콘텐츠 선택 메커니즘과 유사한 성능을 달성할 수 있는가, 아니면 명시적 콘텐츠 마스킹이 반드시 필요한가?

주요 결과

• 바텀업 추상적 요약 모델은 CNN-DM 코퍼스에서 ROUGE-L 점수를 36.4에서 38.3으로 향상시켜 기존 포인터-제너레이터 모델 대비 유의미한 성능 향상을 보였다.
• 최대 우도 추정(MLE)으로만 학습되었음에도 불구하고, 최근 강화 학습 기반 추상적 모델들과 비교해 유사하거나 더 우수한 성능을 달성했다.
• 콘텐츠 선택기는 관련 요약 어휘를 식별하는 데서 재현율 60% 이상, 정밀도 50% 이상의 높은 성능을 보였으며, 최소한의 감독 학습으로도 강력한 성능을 발휘했다.
• 도메인 내 문장 1,000개로만 학습된 콘텐츠 선택기는 CNN-DM 모델을 편집한 후 NYT 코퍼스에서 ROUGE-L 점수를 5점 이상 향상시켰다.
• 바텀업 어텐션은 생성된 요약에서 신규 단어 비율을 기존 기준값 6.6%에서 0.5%로 크게 감소시켜 추출적 성향이 강해졌지만, 여전히 유창성과 문법적 정확성을 유지했다.
• 복사된 어휘 조합 길이의 분포도 크게 변화했다: 참고 요약은 주로 1~5단어 어휘 조합을 선호하는 반면, 기존 포인터-제너레이터 모델은 많은 전체 문장(11단어 이상)을 복사하는 경향이 있었고, 마스크는 이러한 복사를 효과적으로 차단했다.