[논문 리뷰] Explainable and Discourse Topic-aware Neural Language Understanding

Yatin Chaudhary, Schütze, Hinrich외 1명|arXiv (Cornell University)|2020. 06. 18.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 신경어휘모델(NLM)의 성능을 햖थ기 위해 잠재적이고 해석 가능한 주제 표현과 문장 수준의 주제적 논의를 통합한 새로운 신경 복합어휘모델(NCLM) 프레임워크를 제안한다. 문서-주제 비율, 문장-주제 연관성, 핵심어 기반의 해석 가능한 주제를 함께 모델링함으로써, 어휘모델링, 어휘의 의미 해소, 문서 분류, 검색 등 다양한 과제에서 성능 향상을 이룬다. LETA-NLM는 여러 벤치마크에서 최고 성능을 기록하였다.

ABSTRACT

Marrying topic models and language models exposes language understanding to a broader source of document-level context beyond sentences via topics. While introducing topical semantics in language models, existing approaches incorporate latent document topic proportions and ignore topical discourse in sentences of the document. This work extends the line of research by additionally introducing an explainable topic representation in language understanding, obtained from a set of key terms correspondingly for each latent topic of the proportion. Moreover, we retain sentence-topic associations along with document-topic association by modeling topical discourse for every sentence in the document. We present a novel neural composite language model that exploits both the latent and explainable topics along with topical discourse at sentence-level in a joint learning framework of topic and language models. Experiments over a range of tasks such as language modeling, word sense disambiguation, document classification, retrieval and text generation demonstrate ability of the proposed model in improving language understanding.

연구 동기 및 목표

• 기존 어휘모델이 문장 경계를 넘어서는 장거리 의미적 의존성을 포착하지 못하는 한계를 해결하기 위해.
• 주제 분포에서 높은 확률을 가진 어휘를 통해 유도된 해석 가능한 주제 표현을 통합하여 신경어휘모델의 해석 가능성 향상하기 위해.
• 문장 수준의 주제적 논의를 명시적으로 모델링하여 문장 맥락과 문서 수준의 주제 비율 간의 불일치를 방지하기 위해.
• 주제 모델링과 어휘모델링 구성 요소를 함께 학습시켜 문서 수준의 의미 이해를 향상시키기 위해.
• 어휘모델링, WSD, 분류, 검색 등 다양한 NLP 과제에서 프레임워크의 성능 평가를 수행하기 위해.

제안 방법

• 프레임워크는 공동 학습 아키텍처를 통해 신경 주제 모델(NTM)과 신경 어휘모델(NLM)을 통합한다.
• 잠재적 주제 표현(LTR)은 변분 추론를 통해 문서 수준의 주제 비율에서 유도된다.
• 해석 가능한 주제 표현(ETR)은 각 주제의 상위 5개 핵심어를 기반으로 구성되어 해석 가능한 의미적 맥락을 제공한다.
• 문장-주제 연관성은 NTM를 사용해 문장 수준의 주제 비율을 계산함으로써 모델링되며, 국소적 주제 논의를 유지한다.
• 문서 수준의 LTR, ETR, 문장 수준의 주제 벡터를 연결하여 복합 표현을 형성하고, 이를 NLM의 입력으로 사용한다.
• NLM는 이러한 복합 표현을 사용해 다음 단어의 확률을 예측하며, 전반적이고 국소적인 주제적 맥락을 통합한다.

실험 결과

연구 질문

• RQ1 핵심어 기반의 해석 가능한 주제 표현을 통합함으로써 신경어휘모델의 해석 가능성과 성능 향상이 가능할까?
• RQ2 문서 수준의 주제 비율과 함께 문장 수준의 주제 논의를 모델링하면 주제 불일치가 감소하고 맥락 모델링이 향상될까?
• RQ3 주제 모델링과 어휘모델링을 함께 학습시키는 것이 하류 NLP 과제에서 성능 향상에 얼마나 기여할까?
• RQ4 해석 가능한 주제와 문장-주제 연관성이 잠재적 주제 표현만을 사용할 경우보다 언어 이해 향상에 얼마나 더 효과적인가?
• RQ5 장거리 의미적 의존성이 요구되는 과제, 예를 들어 어휘의 의미 해소 및 문서 검색에서 제안된 프레임워크가 강력한 베이스라인을 초월할 수 있을까?

주요 결과

• 잠재적 주제 표현과 해석 가능한 주제 표현, 문장 수준의 주제 연관성을 통합한 LETA-NLM 모델은 문서 검색에서 평균 정밀도가 가장 높았으며, 20News에서 베이스라인 NTM보다 39.4% 향상되었고, AGnews에서는 12.5% 향상되었다.
• R21578 데이터셋에서 LETA-NLM는 P@10 점수 0.675를 기록하여 LTA-NLM(0.666)를 뛰어넘었으며, 문장 수준의 주제 모델링의 유용성을 입증하였다.
• 어휘의 의미 해소 과제에서, 제안된 모든 모델(LTA-NLM, ETA-NLM, LETA-NLM)이 BiLSTM-LM 베이스라인보다 높은 마이크로-F1 점수를 기록했으며, LETA-NLM는 BiLSTM-LM의 59.8보다 높은 60.7을 기록하였다.
• ETA-NLM 모델은 20News에서 P@5 점수 0.287을 기록하여 LTA-NLM(0.264)를 능가했으며, 해석 가능한 주제가 잠재적 주제보다 더 구체적인 맥락을 제공함을 확인하였다.
• SE3 데이터셋에서 LETA-NLM는 F1 점수 62.1을 기록했고, SE15에서는 61.1을 기록하여 복합 주제 표현을 통한 의미 예측 향상이 확인되었다.
• 제거 실험 결과, 해석 가능한 주제와 문장-주제 연관성이 성능 향상에 독립적으로 기여하며, 전체 LETA-NLM 모델이 가장 일관된 성능 향상을 보였다.