[논문 리뷰] SenSeNet: Neural Keyphrase Generation with Document Structure

Yichao Luo, Zhengyan Li외 4명|arXiv (Cornell University)|2020. 12. 12.

Advanced Text Analysis Techniques참고 문헌 27인용 수 9

한 줄 요약

SenSeNet는 문단의 구조를 반영하기 위해 문장 선택 모듈을 사용하여 주요 문장을 식별하고, 스트레이트스러거 추정기와 약한 지도 학습을 통해 키페이즈 생성을 향상시키는 신경 키페이즈 생성 모델을 제안한다. 이는 다양한 모델에서 일관되게 성능을 향상시키며, 특히 존재하지 않는 키페이즈와 반응형 키페이즈에서 두드러진 성능 향상을 보인다. 이는 구조적으로 중요한 콘텐츠에 주의를 집중시킴으로써 달성된다.

ABSTRACT

Keyphrase Generation (KG) is the task of generating central topics from a given document or literary work, which captures the crucial information necessary to understand the content. Documents such as scientific literature contain rich meta-sentence information, which represents the logical-semantic structure of the documents. However, previous approaches ignore the constraints of document logical structure, and hence they mistakenly generate keyphrases from unimportant sentences. To address this problem, we propose a new method called Sentence Selective Network (SenSeNet) to incorporate the meta-sentence inductive bias into KG. In SenSeNet, we use a straight-through estimator for end-to-end training and incorporate weak supervision in the training of the sentence selection module. Experimental results show that SenSeNet can consistently improve the performance of major KG models based on seq2seq framework, which demonstrate the effectiveness of capturing structural information and distinguishing the significance of sentences in KG task.

연구 동기 및 목표

• 기존의 키페이즈 생성 모델이 문서 수준의 논리적 구조를 활용하지 못하는 한계를 해결하기 위해.
• 문서의 핵심 콘텐츠와 의미적으로 관련성이 높은 문장을 식별하고 강조하여 키페이즈 생성을 향상시키기 위해.
• 시퀀스-투-시퀀스 모델에 메타문장 인덕티브 바이어스를 통합하면서 기울기 흐름을 방해하지 않기 위해.
• 특히 반응형 키페이즈에서 구조적으로 관련성이 높은 문장에 집중함으로써 존재하는 키페이즈와 존재하지 않는 키페이즈의 성능을 향상시키기 위해.
• 다양한 인코더-디코더 아키텍처에 통합될 수 있는 일반화 능력을 갖춘 모듈을 설계하기 위해.

제안 방법

• 문장 선택 모듈은 토큰 임베딩에서 문장 수준의 표현을 추출하기 위해 CNN을 사용한 후, 문장의 중요도를 판단하기 위한 이진 분류기를 적용한다.
• 모델은 문장 선택 모듈의 이산 이진 출력을 통해 기울기 역전파를 가능하게 하기 위해 스트레이트스러거 추정기를 사용한다.
• 중요도 예측 결과는 '중요한' 문장과 '무관한' 문장에 대한 학습 가능한 임베딩으로 변환되어 인코더의 히든 상태에 통합된다.
• 약한 지도 학습을 통해 문장 선택 모듈을 지도하여, 구조적으로 중요한 문장을 더 잘 식별할 수 있도록 한다.
• 최종 인코더 표현은 원본 컨텍스트와 중요도 인식 임베딩을 결합한 후 디코딩을 통해 키페이즈를 생성한다.
• 이 아키텍처는 트랜스포머, LSTMs, GRUs를 포함한 다양한 인코더-디코더 프레임워크와 호환된다.

실험 결과

연구 질문

• RQ1 문장 중요도를 통해 문서 구조를 모델링하면 키페이즈 생성 성능이 향상되는가?
• RQ2 메타문장 인덕티브 바이어스를 통합함으로써 존재하는 키페이즈와 존재하지 않는 키페이즈의 생성에 어떤 영향을 미치는가?
• RQ3 이산 문장 선택 모듈의 미분 가능 근사치가 키페이즈 생성을 효과적으로 이끌 수 있는가?
• RQ4 이 모델은 다양한 시퀀스-투-시퀀스 아키텍처와 훈련 방식에 일반화되는가?
• RQ5 비연속적인 단어로 구성된 반응형 키페이즈 예측 성능 향상 정도는 어느 정도인가?

주요 결과

• SenSeNet는 다섯 개인공 데이터셋에서 일관되게 F1 스코어를 향상시키며, GRU+RL을 사용할 경우 존재하지 않는 키페이즈의 F1@5에서 최대 0.030의 향상을 기록한다.
• KP20k에서 GRU+RL을 사용할 경우 존재하지 않는 키페이즈의 F1@5에서 상대적 26% 향상을 달성하여 도전적인 키페이즈 유형에서 뛰어난 성능을 보였다.
• 사례 연구를 통해 기준 모델이 노이즈가 많은 콘텐츠에서 무관한 문장에서 잘못된 키페이즈를 생성하는 것을 방지함으로써, SenSeNet는 무관한 문장에서 잘못된 키페이즈 생성을 크게 줄였다.
• 주의 시각화 결과는 중요도가 높은 문장이 더 높은 주의 가중치를 받고, 무관한 문장은 키페이즈 관련 단어의 확률을 억제함을 확인했다.
• SenSeNet는 트랜스포머, LSTMs, GRUs를 포함한 다양한 아키텍처에서 성능 향상을 보이며, 강력한 일반화 능력을 입증했다.
• 비연속적인 단어로 구성된 반응형 키페이즈 예측에서 특히 뛰어난 성능을 보이며, 문서 구조에 대한 더 나은 추론 능력을 갖춘 것으로 나타났다.