[논문 리뷰] ClueGraphSum: Let Key Clues Guide the Cross-Lingual Abstractive Summarization

Shuyu Jiang, Dengbiao Tu외 4명|arXiv (Cornell University)|2022. 03. 05.

Topic Modeling인용 수 5

한 줄 요약

ClueGraphSum은 문장 그래프를 구성하고 요약을 안내하기 위해 关键 clues(예: 关键어, 명사어)를 사용하는 새로운 엔드 투 엔드 다국어 개괄 요약 프레임워크를 제안한다. 그래프-어텐션 기반의 통합 인코딩을 통해 기사의 구조와 clues를 동시에 처리함으로써 최신 기술 수준(SOTA)의 성능을 달성하였으며, 영어에서 중국어로의 요약에서는 ROUGE-1이 8.55 향상되고 중국어에서 영어로의 요약에서는 MoverScore가 2.13 향상되어 장기 입력 길이에 대해 뛰어난 내구성을 보였다.

ABSTRACT

Cross-Lingual Summarization (CLS) is the task to generate a summary in one language for an article in a different language. Previous studies on CLS mainly take pipeline methods or train the end-to-end model using the translated parallel data. However, the quality of generated cross-lingual summaries needs more further efforts to improve, and the model performance has never been evaluated on the hand-written CLS dataset. Therefore, we first propose a clue-guided cross-lingual abstractive summarization method to improve the quality of cross-lingual summaries, and then construct a novel hand-written CLS dataset for evaluation. Specifically, we extract keywords, named entities, etc. of the input article as key clues for summarization and then design a clue-guided algorithm to transform an article into a graph with less noisy sentences. One Graph encoder is built to learn sentence semantics and article structures and one Clue encoder is built to encode and translate key clues, ensuring the information of important parts are reserved in the generated summary. These two encoders are connected by one decoder to directly learn cross-lingual semantics. Experimental results show that our method has stronger robustness for longer inputs and substantially improves the performance over the strong baseline, achieving an improvement of 8.55 ROUGE-1 (English-to-Chinese summarization) and 2.13 MoverScore (Chinese-to-English summarization) scores over the existing SOTA.

연구 동기 및 목표

• 긴 텍스트에서 노이즈가 많은 콘텐츠와 어텐션의 잘못된 방향 전환으로 인해 저품질의 다국어 요약이 발생하는 문제를 해결하기 위해.
• 핵심 clues와 기사 구조를 활용하여 다국어 의미 이해를 향상시키는 통합형 엔드 투 엔드 모델을 개발하기 위해.
• 이전 데이터셋은 주로 번역된 것이었고 인간 검증되지 않았기 때문에, 신뢰할 수 있는 평가를 위한 새로운 수작업 다국어 요약 데이터셋을 구축하기 위해.
• clue 유도 그래프 구축 방법을 통해 주요 문장을 중심으로 어텐션을 집중시킴으로써 입력 길이 증가에 대한 모델의 내구성을 향상시키기 위해.
• 핵심 clues와 구조 기반 그래프 인코딩을 통합하면 더 정확하고 간결하며 유창한 다국어 요약을 생성할 수 있음을 입증하기 위해.

제안 방법

• TextRank를 사용하여 기사에서 핵심 clues(예: 关键어, 명사어)를 추출하여 주요 콘텐츠를 식별한다.
• 문장 간에 공통 핵심 clues를 공유하는 경우에만 연결된 노드로 구성된 기사 그래프를 구축함으로써 노이즈를 감소시킨다.
• clue 빈도와 중심성 기반의 노드 가중치를 정의하여 그래프 내에서 중요한 문장을 우선순위로 지정한다.
• 구축된 그래프 내에서 문장 의미와 구조적 종속성을 학습하기 위해 그래프 인코더를 사용한다.
• 핵심 clues를 인코딩하고 목표 언어로 번역하여 중요한 정보를 유지하기 위해 clue 인코더를 사용한다.
• 공유 디코더를 통해 그래프 표현과 clue 표현을 통합하여 엔드 투 엔드 방식으로 개괄 요약을 생성한다.

실험 결과

연구 질문

• RQ1 명사어나 关键어와 같은 핵심 clues가 다국어 요약에서 주요 콘텐츠에 집중하도록 모델을 이끌어 요약 품질을 향상시킬 수 있는가?
• RQ2 공통 핵심 clues를 기반으로 한 문장 그래프를 구성하면 표준 순차 모델 대비 장기 입력 길이에 대한 모델의 내구성이 향상되는가?
• RQ3 수작업으로 작성된 데이터셋과 번역된 데이터셋을 사용했을 때 CLS 모델의 성능은 어떻게 다를까?
• RQ4 clue 인식 인코딩과 그래프 구조를 통합하면 강력한 베이스라인을 초월해 ROUGE와 MoverScore 성능을 얼마나 향상시킬 수 있는가?
• RQ5 단어 대 단어 일치가 없더라도 모델은 참조 요약과 의미적으로 일치하면서도 자연스럽고 흐름이 좋은 요약을 생성할 수 있는가?

주요 결과

• ClueGraphSum은 영어에서 중국어로의 다국어 요약에서 가장 강력한 베이스라인 대비 ROUGE-1이 +8.55 향상되었다.
• 중국어에서 영어로의 요약에서는 MoverScore가 +2.13 향상되어 참조 요약과의 의미적 일치도 향상됨을 나타낸다.
• 기존 베이스라인 대비 입력 길이 증가에 따른 성능 저하가 현저히 느리게 나타나 내구성이 뛰어나다는 것을 입증하였다.
• AGC 알고리즘은 테스트 케이스의 90%에서 가장 중요한 세 문장을 성공적으로 식별하였으며, 이는 생성된 요약에서 参考 정보의 주요 근원이 되었다.
• 인간 평가 결과 ClueGraphSum 요약은 모든 베이스라인(파이프라인 및 엔드 투 엔드 모델 포함) 대비 더 간결하고 정보량이 많고 자연스럽다는 것이 확인되었다.
• 특히 번역 파이프라인을 사용하는 베이스라인 모델들은 반복적이거나 '번역어' 스타일의 요약을 생성하는 경향이 있었지만, ClueGraphSum은 부족함을 피하고 자연스러운 어조를 유지하였다.