[논문 리뷰] Heterogeneous Graph Neural Networks for Extractive Document Summarization

Danqing Wang, Pengfei Liu외 3명|arXiv (Cornell University)|2020. 04. 26.

Topic Modeling참고 문헌 45인용 수 37

한 줄 요약

논문은 단어 노드를 문장 노드 간 중개자로 삼아 문장 간 관계를 모델링하는 이종 그래프 신경망 HeterSUMGraph를 제안하고, 다문서 설정으로 자연스럽게 확장되어 문서 노드를 활용하는 방식으로 추출적 요약을 향상시킨다.

ABSTRACT

As a crucial step in extractive document summarization, learning cross-sentence relations has been explored by a plethora of approaches. An intuitive way is to put them in the graph-based neural network, which has a more complex structure for capturing inter-sentence relationships. In this paper, we present a heterogeneous graph-based neural network for extractive summarization (HeterSumGraph), which contains semantic nodes of different granularity levels apart from sentences. These additional nodes act as the intermediary between sentences and enrich the cross-sentence relations. Besides, our graph structure is flexible in natural extension from a single-document setting to multi-document via introducing document nodes. To our knowledge, we are the first one to introduce different types of nodes into graph-based neural networks for extractive document summarization and perform a comprehensive qualitative analysis to investigate their benefits. The code will be released on Github

연구 동기 및 목표

• 추출적 요약에서 순차 인코더를 넘어선 문장 간 관계 모델링의 필요성 제시.
• 중개 단어 노드를 통해 문장 간 상호 작용을 풍부하게 하는 이종 단어-문장 그래프의 도입.
• 단일 문서에서 다문서 요약으로의 확장성 확보를 위한 문서 노드의 도입.
• CNN/DailyMail, NYT50, Multi-News 데이터셋에서 비-BERT 기준선과의 비교 평가.
• 이종 그래프 설계의 이점과 가능성을 이해하기 위한 차등 실험 및 정성 분석 제공.

제안 방법

• 단어 노드와 문장 노드로 이루어진 이종 그래프를 구성하고, 단어-문장 간의 간선은 TF-IDF 유도 특징으로 가중화한다.
• 문장 표현은 로컬 및 글로벌 문장 특징을 포착하기 위해 CNN과 BiLSTM으로 초기화한다.
• 간선 특징과 잔차 연결을 갖춘 Graph Attention Network(GAT)로 노드 표현을 업데이트하고, 각 단계 뒤에 8-헤드 GAT 및 FFN을 통한 반복적 단어↔문장 메시지 전달을 수행한다.
• 엣지 가중치 e_{ij}를 엣지 임베딩으로 GAT에 도입하고, 다중 헤드 주의와 위치별 FFN 변환을 사용한다.
• 다문서 설정의 경우 단어 노드와 연결되는 문서 노드를 추가한 HeterDocSUMGraph를 사용하고, 이를 통해 문서 표현을 집계한 뒤 문장 및 문서 특징을 결합하여 최종 스코어링에 사용한다.
• 학습은 문장 라벨링(요약 선택)에 대한 교차 엔트로피 손실로 수행하고, 중복 제거를 위해 디코딩 시 트라이그램 차단(trigram blocking)을 적용한다.

실험 결과

연구 질문

• RQ1 이종 단어–문장 그래프가 동질적이거나 완전 연결된 문장 그래프에 비해 추출적 요약에서 문장 간 관계 모델링을 개선할 수 있는가?
• RQ2 이종 그래프에서 문서 노드를 도입하면 다문서 요약의 문서 간 관계를 효과적으로 포착할 수 있는가?
• RQ3 차등 실험(엣지 특징, 단어 업데이트, 문장 초기화, 잔차 연결)이 표준 벤치마크에서 성능에 어떻게 영향을 미치는가?
• RQ4 CNN/DailyMail 및 NYT50에서 비-BERT 기준선과의 경쟁력은 어떠하며, 트라이그램 차단이 추가 이득을 주는가?

주요 결과

모델	R-1	R-2	R-L
Lead-3 See et al. (2017)	40.34	17.70	36.57
Oracle Liu and Lapata (2019b)	52.59	31.24	48.87
REFRESH Narayan et al. (2018)	40.00	18.20	36.60
LATENT Zhang et al. (2018)	41.05	18.77	37.54
BanditSum Dong et al. (2018)	41.50	18.70	37.60
NeuSUM Zhou et al. (2018)	41.59	19.01	37.98
JECS Xu and Durrett (2019)	41.70	18.50	37.90
LSTM+PN Zhong et al. (2019a)	41.85	18.93	38.13
HER w/o Policy Luo et al. (2019)	41.70	18.30	37.10
HER w Policy Luo et al. (2019)	42.30	18.90	37.60
Ext-BiLSTM	41.59	19.03	38.04
Ext-Transformer	41.33	18.83	37.65
HeterSUMGraph (HSG)	42.31	19.51	38.74
HeterSUMGraph + Tri-Blocking	42.95	19.76	39.23

• CNN/DailyMail에서 HeterSUMGraph는 Ext-BiLSTM 및 Ext-Transformer 기준선보다 실질적인 차이로 우수한 성능을 보이며, HeterSUMGraph의 R-1은 42.31, R-2는 19.51, R-L은 38.74이며, 트라이그램 차단을 적용하면 R-1 42.95, R-2 19.76, R-L 39.23으로 향상된다.
• NYT50에서 HeterSUMGraph은 비-BERT 기준선 대비 성능이 개선되며, (HSG) 46.89 R-1, 26.26 R-2, 42.58 R-L 및 (HSG + Tri-Blocking) 46.57 R-1, 25.94 R-2, 42.25 R-L를 기록한다.
• 다문서 요약(Multi-News)의 경우 이종 문서 요약 그래프는 비-BERT 모델보다 우수하며, HDSG(46.05 R-1, 16.35 R-2, 42.08 R-L) 및 HDSG + Tri-Blocking(45.55 R-1, 15.78 R-2, 41.29 R-L)로 나타난다.
• 차등 실험 결과, 낮은 TF-IDF 단어 필터링 제거, 엣지 특징 제거, 잔차 제거, 문장/단어 업데이트 제거 시 일반적으로 성능 저하가 발생하며, 이종 그래프 설계와 반복적 메시지 전달의 중요성이 강조된다.
• 정성 분석은 단어 노드 차수가 요약 유용성과 상관관계가 있음을 시사하고, 더 많은 소스 문서를 포함할수록 문서 노드의 이점이 커진다.