[논문 리뷰] Select, Extract and Generate: Neural Keyphrase Generation with Syntactic Guidance.

Wasi Uddin Ahmad, Xiao Bai외 2명|arXiv (Cornell University)|2020. 08. 04.

Advanced Text Analysis Techniques인용 수 2

한 줄 요약

이 논문은 문장 선택, 어간 추출, 생성을 통합한 새로운 신경 키워드 생성 모델인 SEG-Net을 제안한다. Transformer 기반 아키텍처를 사용하며, 계층별 커버리지 어텐션과 정보 기반 복사 어텐션을 적용하였다. 키워드와 그 품사 태그를 동시에 예측함으로써, 과학적 및 웹 문서 분야의 일곱 가지 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 계산 비용을 줄이고 주요 내용의 커버리지 향상에 기여하였다.

ABSTRACT

In recent years, deep neural sequence-to-sequence framework has demonstrated promising results in keyphrase generation. However, processing long documents using such deep neural networks requires high computational resources. To reduce the computational cost, the documents are typically truncated before given as inputs. As a result, the models may miss essential points conveyed in a document. Moreover, most of the existing methods are either extractive (identify important phrases from the document) or generative (generate phrases word by word), and hence they do not benefit from the advantages of both modeling techniques. To address these challenges, we propose \emph{SEG-Net}, a neural keyphrase generation model that is composed of two major components, (1) a selector that selects the salient sentences in a document, and (2) an extractor-generator that jointly extracts and generates keyphrases from the selected sentences. SEG-Net uses a self-attentive architecture, known as, \emph{Transformer} as the building block with a couple of uniqueness. First, SEG-Net incorporates a novel \emph{layer-wise} coverage attention to summarize most of the points discussed in the target document. Second, it uses an \emph{informed} copy attention mechanism to encourage focusing on different segments of the document during keyphrase extraction and generation. Besides, SEG-Net jointly learns keyphrase generation and their part-of-speech tag prediction, where the later provides syntactic supervision to the former. The experimental results on seven keyphrase generation benchmarks from scientific and web documents demonstrate that SEG-Net outperforms the state-of-the-art neural generative methods by a large margin in both domains.

연구 동기 및 목표

• 장문의 문서를 처리할 때 발생하는 높은 계산 비용 문제를 해결하기 위해, 자르는 대신 주요 문장을 선택하는 방식으로 처리한다.
• 순수하게 추출형 또는 생성형 키워드 모델의 한계를 극복하기 위해, 통합된 프레임워크 내에서 추출과 생성을 융합한다.
• 생성된 키워드의 품사 태깅을 공동으로 예측함으로써 문법적 지도 정보를 도입하여 모델 성능을 향상시킨다.
• 계층별 커버리지 어텐션과 정보 기반 복사 어텐션을 통해 문서의 모든 주요 포인트를 더 잘 커버할 수 있도록 어텐션 메커니즘을 개선한다.
• 문서를 자르지 않고도 다양한 도메인, 특히 과학적 및 웹 문서에서 높은 성능을 유지할 수 있는 모델을 개발한다.

제안 방법

• SEG-Net은 이중 단계 아키텍처를 사용한다: 입력 문서에서 주요 문장을 자기 어텐션 메커니즘을 통해 식별하는 선택기.
• 추출기-생성기 구성 요소는 선택된 문장을 트랜스포머 기반 인코더-디코더 프레임워크로 처리하며, 계층별 커버리지 어텐션을 도입하여 계층 간의 핵심 포인트를 요약한다.
• 키워드 생성 중에 문서의 관련 세그먼트를 어텐션에 유도하기 위해 정보 기반 복사 어텐션 메커니즘이 도입되었다. 이는 소스 내용에 대한 충실도를 향상시킨다.
• 키워드 생성과 품사 태깅을 공동으로 학습함으로써, 문법 정보를 활용해 생성 과정을 지도하고 개선한다.
• 인코더는 다중 헤드 자기 어텐션을 사용하여 선택된 문장 내의 장거리 의존성을 모델링하고, 디코더는 커버리지 및 복사 메커니즘을 활용해 자동회귀적으로 키워드를 생성한다.
• 생성에 대한 교차 엔트로피 손실과 품사 태깅에 대한 교차 엔트로피 손실을 조합하여 엔드 투 엔드로 학습함으로써 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 문장 선택, 어간 추출, 신경 생성을 융합한 하이브리드 접근 방식이 순수하게 추출형 또는 생성형 키워드 모델보다 우월한 성능을 낼 수 있는가?
• RQ2 품사 태깅을 통한 문법적 지도 정보를 통합할 경우, 키워드 생성 성능에 어떤 영향을 미치는가?
• RQ3 계층별 커버리지 어텐션 메커니즘이 장문의 문서에서 모든 주요 내용을 효과적으로 커버할 수 있는 능력을 얼마나 향상시키는가?
• RQ4 정보 기반 복사 어텐션은 장문의 문서에서 생성 과정 중 관련 소스 어간에 더 집중할 수 있도록 모델의 집중력을 향상시키는가?
• RQ5 제안된 아키텍처는 문서를 자르지 않고도 과학적 및 웹 문서와 같은 다양한 도메인에서 뛰어난 성능을 유지할 수 있는가?

주요 결과

• SEG-Net은 일곱 개의 키워드 생성 벤치마크에서 최신 기술 수준의 신경 생성 방법을 초월하여, 과학적 및 웹 문서 분야에서 일관된 성능 향상을 보였다.
• 공동 학습 목표로 품사 태깅을 통합함으로써, 문법적 지도 정보를 제공함으로써 키워드 생성 품질이 향상되었다.
• 계층별 커버리지 어텐션 메커니즘은 문서 전반의 핵심 포인트를 효과적으로 포착하고 요약함으로써, 잘라낸 기준 모델 대비 정보 손실을 줄였다.
• 정보 기반 복사 어텐션 메커니즘은 모델이 관련 소스 어간에 더 잘 집중할 수 있도록 도와주어, 생성 정확도와 관련성 향상에 기여했다.
• 두 단계 설계 — 생성 이전에 주요 문장을 선택하는 방식 — 는 계산 비용을 줄이면서도 성능을 유지하였으며, 특히 장문의 문서에서 유리했다.
• 모델는 문서를 자르지 않아도 뛰어난 성능을 달성하여, 장문 입력에서 필수적인 내용을 손실 없이 유지할 수 있었다.