[논문 리뷰] Title-Guided Encoding for Keyphrase Generation

Wang Chen, Yifan Gao외 3명|arXiv (Cornell University)|2018. 08. 26.

Advanced Text Analysis Techniques참고 문헌 55인용 수 3

한 줄 요약

이 논문은 제목을 질의 유사 입력으로 간주하고 제목 정보를 활용해 맥락 인코딩을 안내하는 주의 메커니즘을 사용하는, 키프레ーズ 생성을 위한 새로운 인코더-디코더 모델인 Title-Guided Network(TG-Net)을 제안한다. TG-Net은 최신 기술 모델들을 크게 앞서며, 존재하지 않는 키프레ーズ 예측에서 F1@10이 최대 9.4% 향상되고 Recall@50가 19.1% 향상되어, 매우 짧거나 매우 긴 제목을 가진 문서에서 특히 두각을 나타낸다.

ABSTRACT

Keyphrase generation (KG) aims to generate a set of keyphrases given a document, which is a fundamental task in natural language processing (NLP). Most previous methods solve this problem in an extractive manner, while recently, several attempts are made under the generative setting using deep neural networks. However, the state-of-the-art generative methods simply treat the document title and the document main body equally, ignoring the leading role of the title to the overall document. To solve this problem, we introduce a new model called Title-Guided Network (TG-Net) for automatic keyphrase generation task based on the encoder-decoder architecture with two new features: (i) the title is additionally employed as a query-like input, and (ii) a title-guided encoder gathers the relevant information from the title to each word in the document. Experiments on a range of KG datasets demonstrate that our model outperforms the state-of-the-art models with a large margin, especially for documents with either very low or very high title length ratios.

연구 동기 및 목표

• 기존 생성형 키프레ーズ 모델이 제목과 본문을 동일하게 취급하여 제목의 요약 기능을 간과하는 한계를 해결하기 위해.
• 본문 인코딩을 안내하기 위해 제목을 명시적으로 질의로 활용함으로써 키프레ーズ 생성을 향상시키기 위해.
• 특히 매우 짧거나 매우 긴 제목을 가진 문서에서 존재하는 키프레ーズ와 존재하지 않는 키프레ーズ 예측 성능을 향상시키기 위해.
• 제목 기반 인코딩이 제목과 키프레ーズ 간의 의미적 유사성을 더 잘 포착할 수 있는지 조사하기 위해.

제안 방법

• 모델은 본문용과 제목용으로 각각 하나씩의 이중-GRU 인코더를 사용하여, 모두 맥락 표현을 생성한다.
• 주의 기반 매칭 레이어는 각 맥락 단어와 제목 간의 관련성을 계산하여, 제목 정보가 맥락 내 각 단어의 인코딩을 안내하도록 한다.
• 제목 기반 인코딩 표현은 추가적인 양방향 GRU 레이어를 통해 원본 맥락 표현과 제목 주의 표현을 연결하여 형성된다.
• 디코더는 사전 정의된 어휘에서 키프레즈를 생성하기 위한 주의 메커니즘과 소스 텍스트에서 직접 어휘를 복사하기 위한 복사 메커니즘을 모두 사용한다.
• 제목을 질의 유사 입력으로 간주함으로써, 거리에 관계없이 본문 내 제목과 관련된 내용에 집중할 수 있도록 한다.
• 모델는 교차 엔트로피 손실을 사용하여 다섯 개의 벤치마크 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 기존 인코더-디코더 모델과 비교해 제목을 질의 유사 입력으로 간주함으로써 키프레ーズ 생성 성능 향상이 가능할까?
• RQ2 극단적인 제목 길이 비율을 가진 문서에서 제목 기반 인코딩은 키프레즈 생성에 어떤 영향을 미치는가?
• RQ3 제목 기반 주의 메커니즘이 텍스트에 명시적으로 존재하지 않는 키프레즈 생성에 얼마나 기여하는가?
• RQ4 제목 기반 인코딩과 함께 디코더에 복사 메커니즘을 포함시키면 성능 향상이 추가로 이루어지는가?

주요 결과

• TG-Net은 가장 큰 데이터셋에서 기준선 중 최고 성능을 기록한 모델 대비 존재하는 키프레즈 예측의 F1@10에서 9.4% 향상되고, 존재하지 않는 키프레즈 예측의 Recall@50에서 19.1% 향상되었다.
• 제목 길이 비율이 3% 이하 또는 12% 초과인 문서에서 성능 향상이 가장 크게 나타났으며, 이는 긴 맥락이나 짧은 제목에서 제목 정보가 가장 중요한 역할을 하기 때문이다.
• 제거 실험 결과 제목 기반 인코딩 구성 요소를 제거하면 성능이 크게 떨어지며, 이는 존재하는 키프레즈와 존재하지 않는 키프레즈 예측 모두에서 그 핵심적인 역할을 한다는 것을 입증한다.
• 복사 메커니즘이 성능 향상에 크게 기여하며, 이를 제거하면 모든 작업에서 F1 및 재현율 점수가 급격히 하락한다.
• 사례 연구 결과 TG-Net은 'stochastic delay systems'와 같은 제목 단서를 활용해 'time-delay systems'와 같은 존재하지 않는 키프레즈를 성공적으로 생성한 반면, CopyRNN은 이를 실패했다.
• 모델는 다섯 개의 벤치마크 데이터셋 전반에서 강력한 기준선들을 항상 앞서며, 다양한 문서 유형에 걸쳐 뛰어난 견고성과 일반화 능력을 입증했다.