[논문 리뷰] AttSum: Joint Learning of Focusing and Summarization with Neural Attention

Ziqiang Cao, Wenjie Li외 3명|arXiv (Cornell University)|2016. 04. 01.

Topic Modeling참고 문헌 27인용 수 58

한 줄 요약

AttSum는 수동으로 설계된 특징 없이 질의에 대한 문장의 관련성과 문장의 중요도를 동시에 학습할 수 있는 공동 신경망 모델을 제안한다. 이 모델은 주어진 질의에 대해 분산된 문장 및 문서 표현을 생성한다. DUC 2005–2007 벤치마크에서 평가한 결과, AttSum는 경쟁적인 성능을 보이며 수동으로 설계된 특징에 의존하는 시스템보다 우수하게 질의 요구를 충족하는 내용을 효과적으로 식별한다.

ABSTRACT

Query relevance ranking and sentence saliency ranking are the two main tasks in extractive query-focused summarization. Previous supervised summarization systems often perform the two tasks in isolation. However, since reference summaries are the trade-off between relevance and saliency, using them as supervision, neither of the two rankers could be trained well. This paper proposes a novel summarization system called AttSum, which tackles the two tasks jointly. It automatically learns distributed representations for sentences as well as the document cluster. Meanwhile, it applies the attention mechanism to simulate the attentive reading of human behavior when a query is given. Extensive experiments are conducted on DUC query-focused summarization benchmark datasets. Without using any hand-crafted features, AttSum achieves competitive performance. It is also observed that the sentences recognized to focus on the query indeed meet the query need.

연구 동기 및 목표

• 추출적 요약 시스템에서 질의 관련성과 중요도 순위를 별도로 학습하는 데서 비롯하는 한계를 해결하기 위해.
• 참고 요약에서 질의 관련성과 중요도 사이의 상충 관계를 반영하는 데서 비롯하는 열악한 지도 신호 문제를 극복하기 위해.
• TF-IDF와 같은 표면 수준의 특징에 의존하는 기존 방법들이 의미적 의도를 포착하지 못하는 데서 비롯하는 문제를 해결하기 위해.
• 수동으로 설계된 특징 없이도 의미 있는 문장 및 문서 표현을 자동으로 학습할 수 있는 데이터 기반의 종단간(end-to-end) 모델을 개발하기 위해.
• 질의에 초점을 맞춘 인간의 주의 깊은 독서 방식을 시뮬레이션하기 위해, 질의에 가장 잘 부합하는 문장을 집중적으로 고려하기 위해.

제안 방법

• 모델은 가중치 합 풀링을 통해 분산된 문장 표현과 문서 클러스터 표현을 신경망을 통해 학습한다.
• 각 문장에 대해 질의에 따라 달라지는 가중치를 계산하는 주의 메커니즘을 적용하여 질의와 가장 관련성이 높은 문장을 강조한다.
• 문서 표현은 주의 메커니즘의 관련성 점수에서 유도된 가중치를 사용해 문장 표현의 가중치 합으로 구성된다.
• 주의 메커니즘은 질의와 문서 내용 양쪽에 대해 의미적으로 일치하는 문장을 동적으로 집중적으로 고려한다.
• 참고 요약을 지도로 사용하여 종단간(end-to-end)으로 모델을 학습하며, 수동으로 설계된 특징이 필요하지 않다.
• 문장 중요도는 주의 메커니즘을 통해 암묵적으로 포착되며, 관련성이 높은 문장들이 문서 표현에 더 크게 기여한다.

실험 결과

연구 질문

• RQ1 고립된 학습 방식에 비해 공동 모델이 질의 관련성과 문장 중요도 순위를 향상시킬 수 있는가?
• RQ2 신경망 주의 메커니즘이 질의 중심 요약에서 인간의 주의 깊은 독서 방식을 효과적으로 시뮬레이션할 수 있는가?
• RQ3 수동으로 설계된 특징 없이도 데이터 기반의 종단간 모델이 엔지니어링된 특징에 의존하는 시스템보다 우수한 성능을 보일 수 있는가?
• RQ4 높은 주의 점수를 가진 문장들은 关건 키워드가 부재함에도 불구하고 질의 의도와 의미적으로 일치하는가?
• RQ5 학습된 문서 표현은 향후 개선된 요약 생성(abstractive summarization)에 활용될 수 있는가?

주요 결과

• AttSum는 수동으로 설계된 특징 없이도 DUC 2005–2007 질의 중심 요약 벤치마크에서 경쟁적인 성능을 달성한다.
• 핵심 질의 키워드가 내용에 포함되지 않더라도, 질의 요구를 충족하는 문장을 성공적으로 식별함으로써 표면 수준의 매칭을 넘어서 의미적 이해를 보여준다.
• 고품질의 정성적 분석 결과, 높은 주의 점수를 가진 문장들은 질의 의도와 일관되게 관련성이 높으며, 예를 들어 TF-IDF 유사도가 낮은 상황에서도 마약 합법화의 이점 등을 정확히 식별한다.
• 주의 메커니즘이 문서 표현을 질의와 관련성이 높고 문서 클러스터를 대표하는 문장들 쪽으로 효과적으로 편향시킨다.
• 주의 메커니즘을 통한 관련성과 중요도의 공동 학습은, 참고 요약에서 더 효과적인 지도 신호를 제공함으로써 고립된 모델보다 더 우수한 성능을 이룬다.
• 시스템이 의미 있는 의미적 표현을 생성할 수 있다는 점은, 신경망 언어 모델을 활용한 추상적 요약으로의 확장 가능성을 시사한다.