[논문 리뷰] Exclusive Hierarchical Decoding for Deep Keyphrase Generation

Wang Chen, Hou Pong Chan외 2명|arXiv (Cornell University)|2020. 04. 18.

Advanced Text Analysis Techniques참고 문헌 34인용 수 6

한 줄 요약

이 논문은 깊이 있는 关键词 생성을 위한 독점적 계층적 디코딩(ExHiRD)을 제안하며, 키워드 집합 내 계층적 구성성을 모델링하기 위해 문장 수준 및 어절 수준의 디코딩 프로세스를 도입하고, 중복을 줄이기 위해 소프트 및 하드 배제 메커니즘을 함께 제공한다. 실험 결과, 다양한 벤치마크에서 기존 방법 대비 키워드 다양성과 정확도가 뚜렷이 향상되었으며, 중복 비율은 낮고 F1 점수는 높았다.

ABSTRACT

Keyphrase generation (KG) aims to summarize the main ideas of a document into a set of keyphrases. A new setting is recently introduced into this problem, in which, given a document, the model needs to predict a set of keyphrases and simultaneously determine the appropriate number of keyphrases to produce. Previous work in this setting employs a sequential decoding process to generate keyphrases. However, such a decoding method ignores the intrinsic hierarchical compositionality existing in the keyphrase set of a document. Moreover, previous work tends to generate duplicated keyphrases, which wastes time and computing resources. To overcome these limitations, we propose an exclusive hierarchical decoding framework that includes a hierarchical decoding process and either a soft or a hard exclusion mechanism. The hierarchical decoding process is to explicitly model the hierarchical compositionality of a keyphrase set. Both the soft and the hard exclusion mechanisms keep track of previously-predicted keyphrases within a window size to enhance the diversity of the generated keyphrases. Extensive experiments on multiple KG benchmark datasets demonstrate the effectiveness of our method to generate less duplicated and more accurate keyphrases.

연구 동기 및 목표

• 순차적 디코딩의 한계를 해결하기 위해, 계층적 구조를 忽시하고 중복되는 키워드를 생성하는 문제를 해결한다.
• 문장 수준 및 어절 수준의 디코딩 프로세스를 분리하여 키워드 집합의 계층적 구성성을 모델링한다.
• 슬라이딩 윈도우 내에서 이전에 생성된 키워드를 추적하는 소프트 및 하드 배제 메커니즘을 통해 키워드 다양성을 향상시킨다.
• 고정 길이 빔 서치에 의존하지 않고, 동시에 키워드의 수와 내용을 예측한다.
• 문장 수준의 어텐션 점수를 사용해 어절 수준의 어텐션 점수를 재스케일링하여 더 나은 컨텍스트 집중을 가능하게 한다.

제안 방법

• 계층적 디코딩 프레임워크는 현재 요약할 요소를 식별하기 위한 문장 수준 디코딩(PD)과 어절 수준에서 키워드를 하나씩 생성하는 어절 수준 디코딩(WD)로 구성된다.
• PD는 문서 내용과 이전에 생성된 키워드를 바탕으로 다음 요소를 결정하며, 이에 따라 WD의 초기 은닉 표현을 설정한다.
• 어절 수준 디코딩은 문서에 어텐션을 두고, PD의 어텐션 점수를 사용해 어텐션 점수를 재스케일링하여 현재 요소를 강조한다.
• 학습 중에는 소프트 배제 메커니즘이 적용되어, 새로운 키워드의 첫 번째 단어가 이전 K개의 키워드와 다를 수 있도록 유도한다.
• 추론 중에는 하드 배제 메커니즘이 사용되어, 최근 K개의 키워드에서 이미 사용된 첫 번째 단어를 피할 수 있도록 배제 검색을 강제한다.
• 두 메커니즘 모두 K 크기의 슬라이딩 윈도우 내에서 적용되며, 중복을 줄이면서도 생성 정확도를 유지하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 키워드 집합 내 계층적 구성성을 모델링하면 생성 정확도가 향상되는가?
• RQ2 순차 기반 생성에 배제 메커니즘을 통합하면 키워드 중복이 감소하는가?
• RQ3 배제 메커니즘의 윈도우 크기가 다양성과 성능에 어떤 영향을 미치는가?
• RQ4 제안된 배제 메커니즘은 다른 키워드 생성 모델에 일반화될 수 있는가?
• RQ5 계층적 디코딩은 F1 점수와 중복 제어 측면에서 표준 순차적 디코딩을 능가하는가?

주요 결과

• ExHiRD-h는 KP20k 데이터셋에서 F1@5 점수 0.110을 기록하여, 배제 검색을 통한 향상된 모든 베이스라인을 앞서며 최고 성능을 기록했다.
• KP20k에서 DupRatio는 3.97로 낮아졌으며, 베이스라인인 catSeq(3.70)와 catSeqCorr(3.36)보다 유의미하게 낮아져 다양성 향상을 확인했다.
• 배제 검색 윈도우 크기 K_ES를 증가시킬수록 DupRatio는 감소하고 F1@5는 상승했으며, K_ES = 'all'일 때 가장 우수한 성능을 기록했지만 스테밍 효과가 존재했다.
• 기타 베이스라인(예: catSeq, Transformer)에 배제 검색 메커니즘을 적용하면 F1@5가 향상되고 중복이 감소했지만, ExHiRD-h는 여전히 그들을 앞서는 성능을 보였다.
• 사례 연구 결과, ExHiRD-h는 중복을 더 적게 생성하는 것으로 확인되었으며, 예를 들어 'debugging'이라는 단어는 기존 베이스라인 대비 3번 이상 생성된 데 비해 ExHiRD-h에서는 단 한 번만 생성되었다.
• KP20k에서 ExHiRD-h는 Present F1 0.374와 Absent F1 0.311를 기록하여 두 유형의 키워드 모두에서 뛰어난 성능을 보였다.