[논문 리뷰] Topic-Aware Neural Keyphrase Generation for Social Media Language

Yue Wang, Jing Li외 4명|arXiv (Cornell University)|2019. 06. 10.

Advanced Text Analysis Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 사회적 미디어 텍스트의 잠재 주제를 고려하는 신경 키워드 생성 모델을 제안하며, 기존의 추출 및 생성 방법보다 뛰어난 성능을 보인다. 순서-순서(sequence-to-sequence) 프레임워크에 주제 모델링을 통합함으로써, 비공식적인 사회적 미디어 언어에서의 데이터 희소성 문제를 완화하고 최신 기술 수준의 성능을 달성한다. Weibo 데이터셋에서 F1@1이 34.99%에 이를 정도로, 이전 연구보다 2.98%포인트 높은 성능을 기록한다.

ABSTRACT

A huge volume of user-generated content is daily produced on social media. To facilitate automatic language understanding, we study keyphrase prediction, distilling salient information from massive posts. While most existing methods extract words from source posts to form keyphrases, we propose a sequence-to-sequence (seq2seq) based neural keyphrase generation framework, enabling absent keyphrases to be created. Moreover, our model, being topic-aware, allows joint modeling of corpus-level latent topic representations, which helps alleviate the data sparsity that widely exhibited in social media language. Experiments on three datasets collected from English and Chinese social media platforms show that our model significantly outperforms both extraction and generation models that do not exploit latent topics. Further discussions show that our model learns meaningful topics, which interprets its superiority in social media keyphrase generation.

연구 동기 및 목표

• 소스 게시물에 포함되지 않은 단어를 포함하는 경우가 흔한 노이즈가 많고 비공식적인 소셜 미디어 텍스트에서의 키워드 예측 문제를 해결하기 위해.
• 키워드 생성과 함께 코퍼스 수준의 잠재 주제를 동시 모델링하여 소셜 미디어 언어에서의 데이터 희소성 문제를 해결하기 위해.
• 신경 주제 모델링과 순서-순서 생성을 통합한 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 잠재 주제가 소셜 미디어에서 흔한 부재어 키워드 생성에 어떻게 기여하는지 조사하기 위해.

제안 방법

• 입력 텍스트에 명시적으로 존재하지 않는 키워드도 생성할 수 있도록 허용하는 순서-순서(seq2seq) 신경망을 제안한다.
• 잠재 주제가 주의 메커니즘과 디코더 은닉 상태를 모두 지시하는 주제 인식 주의 및 주제 인식 은닉 상태를 도입한다.
• 엔드 투 엔드 방식으로 주제 표현과 생성 모델을 동시에 훈련하기 위해 신경 주제 모델(NTM)을 사용한다.
• 어휘에 없는 단어를 보존하기 위해 복사 메커니즘을 적용하며, 생성과 복사의 조합을 통해 강건성을 확보한다.
• 키워드 생성 손실과 주제 모델링 손실을 통합한 공동 최적화 목표를 적용한다.
• 게시물 간 단어 공존 패턴을 활용해 관련 키워드를 시사하는 잠재 주제를 유추한다.

실험 결과

연구 질문

• RQ1 잠재 주제의 동시 모델링이 데이터 희소성이 높은 소셜 미디어 텍스트에서의 키워드 생성 성능을 향상시키는가?
• RQ2 주제 인식 주의와 주제 인식 은닉 상태를 통합하면 표준 seq2seq 모델보다 더 나은 일반화 성능을 보이는가?
• RQ3 잠재 주제가 소스 게시물에 존재하지 않는 단어를 포함한 키워드를 식별하는 데 얼마나 효과적인가?
• RQ4 모델이 실제 키워드 의미와 일치하는 해석 가능하고 의미 있는 주제를 학습하는가?
• RQ5 주제 인식 생성 모델의 성능가 추출 기반 및 주제 인식이 없는 생성 모델과 비교해 소셜 미디어 데이터셋에서 어떻게 성능을 내는가?

주요 결과

• 제안된 모델은 Twitter 데이터셋에서 F1@1이 38.49%를 기록하며, 가장 강력한 베이스라인(Se2Seq-Copy)보다 1.89%포인트 높은 성능을 보였다.
• Weibo 데이터셋에서는 F1@1이 34.99%에 이를 정도로, 최신 기술 수준의 생성 모델(32.01%)보다 2.98%포인트 높은 성능을 기록했다.
• 제거 실험 결과, 주제 인식 주의와 주제 인식 은닉 상태 모두 성능 향상에 기여하며, 전체 모델이 가장 우수한 성능을 기록함을 확인했다.
• 모델은 의미 있는 잠재 주제를 학습하며, 'super bowl'과 같은 주제는 'yellow', 'pants', 'steeler', 'packer'와 같은 관련 단어를 포함하여 강력한 의미적 일치를 보였다.
• 사례 연구 결과, 모델은 'yellow'와 'pants'와 같은 주제 관련 단어에 주목함으로써 'super bowl'을 정확히 예측하는 반면, 베이스라인 모델은 잘못된 'team follow back'을 생성했다.
• 소셜 미디어에서는 공식적인 학술 논문보다 주제 모델링이 더 큰 도움을 주며, 이는 부재어 키워드 비율이 높고 비공식 텍스트에서 단어 순서가 더 임의적일 수 있기 때문이다.