[논문 리뷰] Lifelong Domain Word Embedding via Meta-Learning

Hu Xu, Bing Liu외 2명|arXiv (Cornell University)|2018. 05. 25.

Topic Modeling참고 문헌 18인용 수 13

한 줄 요약

이 논문은 L-DEM를 제안하며, 이는 이전에 접한 도메인들로부터 관련 맥락 지식을 검색하고 통합하여 새로운 도메인의 임베딩을 향상시키는 수명 주기 도메인 단어 임베딩을 위한 메타학습 프레임워크이다. 서로 다른 도메인 간에 의미적으로 유사한 맥락을 식별하기 위해 파rametric 메타러닝 기반의 메타러너를 활용함으로써, L-DEM는 최종 NLP 작업 성능을 향상시키며, L-DEM 200D + ND 30M는 세 가지 새로운 도메인에서 최신 기술 성능을 달성한다.

ABSTRACT

Learning high-quality domain word embeddings is important for achieving good performance in many NLP tasks. General-purpose embeddings trained on large-scale corpora are often sub-optimal for domain-specific applications. However, domain-specific tasks often do not have large in-domain corpora for training high-quality domain embeddings. In this paper, we propose a novel lifelong learning setting for domain embedding. That is, when performing the new domain embedding, the system has seen many past domains, and it tries to expand the new in-domain corpus by exploiting the corpora from the past domains via meta-learning. The proposed meta-learner characterizes the similarities of the contexts of the same word in many domain corpora, which helps retrieve relevant data from the past domains to expand the new domain corpus. Experimental results show that domain embeddings produced from such a process improve the performance of the downstream tasks.

연구 동기 및 목표

• 고품질의 도메인 특화 단어 임베딩을 학습하기 위한 제한된 도메인 내 코퍼스 문제를 해결한다.
• GloVe와 같은 일반 목적 임베딩이 의미의 왜곡으로 인해 도메인 특화 단어의 의미를 잘 포착하지 못하는 점을 극복한다.
• 이전에 접한 도메인들에서 축적된 지식을 활용해 새로운 도메인 임베딩이 지속적으로 학습할 수 있도록 한다.
• 사용자 참여 없이 자동으로 관련된 과거 도메인 맥락을 식별하고 새로운 도메인 학습 코퍼스에 통합하는 방법을 개발한다.
• 메타학습을 통해 과거 도메인들로부터 의미적으로 관련된 데이터를 새로운 도메인 코퍼스에 통합함으로써 최종 NLP 작업 성능(예: 분류)을 향상시킨다.

제안 방법

• 새로운 도메인 임베딩 작업이 이전에 n개의 도메인에서 획득한 지식을 활용하는 수명 주기 학습 설정을 도입한다.
• 다양한 도메인 간에 단어 맥락의 유사성을 모델링함으로써 서로 다른 도메인 간 유사 맥락을 식별하는 다도메인 메타러너를 설계한다.
• 목표 단어의 새로운 도메인 맥락과 과거 도메인의 맥근 간 유사도를 계산하기 위해 파arametric 메타러너를 사용한다.
• 학습 데이터의 다양성과 도메인 특화성을 높이기 위해 과거 도메인들로부터 검색된 관련 맥락을 새로운 도메인 코퍼스에 보완한다.
• 결합된 코퍼스(새로운 도메인 + 검색된 과거 맥락)를 사용하여 스킵그램 또는 유사 목적함수를 통해 최종 단어 임베딩을 학습한다.
• 결합된 코퍼스를 사용하여 냉각된 임베딩을 유지한 채로 Bi-LSTM 분류기를 사용해 최종 분류 작업을 평가함으로써 임베딩 품질을 고립시켜 평가한다.

실험 결과

연구 질문

• RQ1 사용자 감독 없이 다양한 도메인 간에 의미적으로 유사한 단어 맥락을 효과적으로 식별할 수 있는가?
• RQ2 과거 도메인 맥락을 새로운 도메인 코퍼스에 통합함으로써 학습된 도메인 특화 임베딩의 품질이 향상되는가?
• RQ3 제안된 방법의 성능이 일반 목적 임베딩(GloVe 등)과 연결 기반 기준 모델에 비해 최종 NLP 작업에서 어떻게 비교되는가?
• RQ4 더 많은 과거 도메인을 사용할 경우 임베딩 품질과 최종 작업 정확도에 어떤 영향을 미치는가?
• RQ5 비모수적 대안(예: TF-IDF + 코사인 유사도)에 비해 파arametric 메타러너가 유용한 과거 맥락을 검색하는 데서 뛰어난 성능을 보이는가?

주요 결과

• L-DEM 200D + ND 30M는 세 가지 최종 도메인에서 모두 최고의 정확도를 기록했다: 컴퓨터 부품 도메인에서 0.887, 주방 보관 및 정리 도메인에서 0.783, 고양이 용품 도메인에서 0.817.
• L-DEM의 성능은 더 많은 과거 도메인을 사용할수록 향상되었으며, 이는 다양한 도메인에서 축적된 지식이 임베딩 품질을 향상시킨다는 것을 시사한다.
• 모든 200개의 과거 도메인을 새로운 도메인 코퍼스에 통합한 경우(200D + ND 30M) 성능이 떨어졌는데, 이는 도메인 불일치와 노이즈로 인한 영향 때문이다.
• 비모수적 변형(L-DENP)에 비해 파arametric 메타러너(L-DEM)가 유의미하게 뛰어난 성능을 보였으며, 컴퓨터 부품 도메인처럼 더 일반적인 도메인에서는 예외였다.
• GloVe.840B와 L-DEM 임베딩을 결합하면 GloVe만 사용할 때보다 성능이 향상되었으며, 이는 L-DEM가 도메인 특화 표현 학습을 향상시킨다는 것을 보여준다.
• GloVe.840B는 컴퓨터 부품 도메인에서는 L-DEM와 거의 유사한 성능을 보였으며, 이는 이 도메인이 더 일반적이며 도메인 특화 맥락에 민감하지 않다는 것을 시사한다.