[논문 리뷰] DivGraphPointer: A Graph Pointer Network for Extracting Diverse Keyphrases

Zhiqing Sun, Jian Tang외 3명|arXiv (Cornell University)|2019. 05. 19.

Advanced Text Analysis Techniques참고 문헌 48인용 수 6

한 줄 요약

이 논문은 문서 수준의 단어 중요도 모델링을 위해 그래프 컬러션 네트워크(GCNs)를 결합하고, 다양한 키워드어를 생성하기 위해 다각도 포인터 네트워크를 사용하는 엔드 투 엔드 그래프 포인터 네트워크인 DivGraphPointer를 제안한다. 장거리 의존성을 포착하고 반복된 단어를 집계하는 단어 그래프를 구축하며, 커버리지 어텐션과 다각도 손실을 활용해 중복을 방지함으로써, DivGraphPointer는 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 이전의 지도 학습 및 비지도 학습 방법들을 크게 능가한다.

ABSTRACT

Keyphrase extraction from documents is useful to a variety of applications such as information retrieval and document summarization. This paper presents an end-to-end method called DivGraphPointer for extracting a set of diversified keyphrases from a document. DivGraphPointer combines the advantages of traditional graph-based ranking methods and recent neural network-based approaches. Specifically, given a document, a word graph is constructed from the document based on word proximity and is encoded with graph convolutional networks, which effectively capture document-level word salience by modeling long-range dependency between words in the document and aggregating multiple appearances of identical words into one node. Furthermore, we propose a diversified point network to generate a set of diverse keyphrases out of the word graph in the decoding process. Experimental results on five benchmark data sets show that our proposed method significantly outperforms the existing state-of-the-art approaches.

연구 동기 및 목표

• 기존의 키워드어 추출 방법이 히ュ리스틱에 의존하거나 문서 수준의 단어 중요도와 다양성을 모델링하지 못하는 한계를 해결하기 위해.
• 장거리 단어 의존성을 포착하고, 여러 번 나타나는 단어를 하나의 노드로 집계하는 엔드 투 엔드 학습 가능한 모델을 개발하기 위해.
• 모델이 의미적으로 유사하거나 중복된 구절을 반복적으로 선택하는 것을 방지함으로써 다양한 키워드어를 생성하기 위해.
• 기반 그래프 랭킹과 신경 시퀀스 생성의 장점을 조합함으로써 키워드어 추출 성능을 향상시키기 위해.

제안 방법

• 단어 간 거리에 따라 간선를 정의하여 입력 문서에서 단어 그래프를 구축하고, 동일한 단어를 하나의 노드로 집계한다.
• 그래프 컬러션 네트워크(GCNs)를 적용하여 단어 그래프를 인코딩함으로써, 짧은 거리와 장거리 의존성을 모두 포착하고, 여러 번 나타나는 단어의 출현을 중요도 높은 노드 표현으로 집계한다.
• 단어 그래프에서 동적으로 노드를 선택하여 자동 회귀 방식으로 키워드어를 구성하는 다각도 포인터 네트워크 디코더를 사용한다.
• 이미 주목한 단어를 추적하고 생성된 키워드어의 중복을 줄이기 위해 커버리지 어텐션 메커니즘을 통합한다.
• 키워드어 간 코사인 유사도의 역수를 기반으로 한 다각도 손실을 도입하여 의미적 다양성을 명시적으로 장려한다.
• 디코딩 중 길이 보정 인자를 적용하여 생성된 키워드어의 세분성(granularity)을 조절함으로써, 짧은 구절과 긴 구절 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 장거리 의존성을 포착하고 반복된 단어를 집계함으로써, 기반 그래프 인코딩 방법이 문서 수준의 단어 중요도를 효과적으로 모델링할 수 있는가?
• RQ2 단어 그래프 위의 포인터 네트워크가 높은 문서 관련성을 유지하면서도 다양한 키워드어를 생성할 수 있는가?
• RQ3 커버리지 어텐션과 다각도 손실의 조합이 키워드어 생성에서 중복을 줄이는 데 얼마나 효과적인가?
• RQ4 제안된 엔드 투 엔드 프레임워크가 지도 학습 및 비지도 학습 최신 기술 수준의 키워드어 추출 방법을 모두 능가하는가?

주요 결과

• DivGraphPointer는 Krapivin, Inspec 등 포함된 다섯 개의 벤치마크 데이터셋에서 기존의 최신 기술 수준(SOTA) 지도 학습 및 비지도 학습 방법들을 크게 능가한다.
• 다양성 메커니즘이 GraphPointer 대비 평균 동일 키워드어 동시출현(AIC)을 최대 50% 감소시켰으며, 특히 상위 5개의 키워드어에서 가장 두드러진 개선이 관찰되었다.
• 길이 보정 인자는 성능에 강력한 영향을 미치며, Inspec의 경우 최적 값이 0–1 사이이고, Krapivin의 경우 1–5 사이임을 시사하며, 극단적인 정규화 값은 결과를 악화시킴을 보여준다.
• 사례 연구 결과, DivGraphPointer는 CopyRNN과 GraphPointer보다 더 의미적으로 다양한 키워드어를 생성하며, 중복된 표현이 적고, 주요 개념과 더 잘 일치함을 확인하였다.
• 기반 그래프 인코더는 단어 간 관련성을 효과적으로 포착한다(예: 'traffic'과 'noise'는 강하게 연결됨), 이는 순서 기반 모델보다 더 정확한 키워드어 선택을 가능하게 한다.
• 다양성 메커니즘을 갖춘 모델(DivGraphPointer-100)은 CopyRNN의 다섯 개, GraphPointer-100의 네 개에 비해 오직 두 개의 매우 유사한 키워드어만 생성하며, 중복 감소 효과가 뚜렷하다.