[논문 리뷰] DocTag2Vec: An Embedding Based Multi-label Learning Approach for Document Tagging

Sheng Chen, Akshay Soni외 2명|arXiv (Cornell University)|2017. 07. 14.

Text and Document Classification Technologies참고 문헌 28인용 수 6

한 줄 요약

이 논문은 Doc2Vec의 확장 기반으로 단어, 문서, 태그의 분산 표현을 공유 벡터 공간에서 동시에 학습하는 새로운 다중 레이블 학습 방법인 DocTag2Vec을 제안한다. 학습된 태그 임베딩에 대해 k-최근접 이웃 검색을 활용하여 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 SLEEC 및 Doc2Vec와 비교해도 특히 증분 학습 및 동적 태그 처리 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Tagging news articles or blog posts with relevant tags from a collection of predefined ones is coined as document tagging in this work. Accurate tagging of articles can benefit several downstream applications such as recommendation and search. In this work, we propose a novel yet simple approach called DocTag2Vec to accomplish this task. We substantially extend Word2Vec and Doc2Vec---two popular models for learning distributed representation of words and documents. In DocTag2Vec, we simultaneously learn the representation of words, documents, and tags in a joint vector space during training, and employ the simple $k$-nearest neighbor search to predict tags for unseen documents. In contrast to previous multi-label learning methods, DocTag2Vec directly deals with raw text instead of provided feature vector, and in addition, enjoys advantages like the learning of tag representation, and the ability of handling newly created tags. To demonstrate the effectiveness of our approach, we conduct experiments on several datasets and show promising results against state-of-the-art methods.

연구 동기 및 목표

• 소셜 미디어 및 뉴스 플랫폼에서 실시간, 증분적, 동적 문서 태깅의 과제를 해결하기 위해.
• 다중 레이블 학습에서 사전에 추출된 특징 벡터가 필요 없도록 원시 텍스트를 직접 처리함으로써 이를 제거하기 위해.
• 학습 가능한 태그 임베딩을 통해 새로운 태그를 동적으로 처리할 수 있도록 하여 변화하는 태그 집합을 지원하기 위해.
• 문서와 관련 태그 간의 의미적 관계를 포착함으로써 태깅 정확도를 향상시키기 위해.
• 다음 단계의 NLP 응용 프로그램에서 사용할 수 있는 재사용 가능하고 의미적으로 유의미한 태그 표현을 제공하기 위해.

제안 방법

• 공유 임베딩 공간에서 문서, 단어, 태그의 조밀한 벡터 표현을 동시에 학습하기 위해 Doc2Vec을 확장한다.
• 원시 텍스트와 관련된 태그를 기반으로 확률적 경사 하강법(SGD)을 사용해 모델을 훈련하며, 문서와 그 참조 태그 간의 의미적 유사도를 최적화한다.
• 학습된 태그 임베딩에 대해 k-최근접 이웃(k-NN) 검색을 수행하여 미리보지 않은 문서에 대한 관련 태그를 예측한다.
• 새로운 문서와 태그를 다시 처음부터 훈련하지 않고도 모델을 업데이트함으로써 증분 학습을 지원한다.
• 각 태그에 대해 고유한 임베딩 벡터를 학습함으로써 새로운 태그가 생성될 경우에도 동적으로 대응할 수 있도록 한다.
• Word2Vec 및 Doc2Vec와 유사한 스킵그램 아키텍처를 활용하며, 훈련 중 태그를 추가적인 맥락 토큰으로 간주한다.

실험 결과

연구 질문

• RQ1 동시로 문서, 단어, 태그 표현을 학습하는 공동 임베딩 모델이 기존의 다중 레이블 학습 방법보다 문서 태깅 성능에서 뛰어나게 되는가?
• RQ2 DocTag2Vec는 재학습 없이 얼마나 잘 동적 태그 집합과 새로운 태그를 처리할 수 있는가?
• RQ3 다양한 데이터셋과 평가 지표에서 최신 기술 수준의 방법인 SLEEC 및 Doc2Vec와 비교해 DocTag2Vec의 성능은 어떠한가?
• RQ4 태그 임베딩에 k-NN를 적용함으로써 다중 레이블 태깅의 일반화 능력 향상과 정밀도 향상이 이루어지는가?
• RQ5 학습 데이터를 초월해 학습된 태그 임베딩이 편집적 판단이 열악한 경우에도 태깅 품질 향상에 기여할 수 있는가?

주요 결과

• Wiki10 데이터셋에서 DocTag2Vec는 SLEEC와 유사한 정밀도를 기록하며, 특히 k가 증가할수록 기준 모델인 Doc2Vec를 크게 앞서나간다.
• WikiNER에서 DocTag2Vec는 k=1을 초과하는 정밀도@k에서 SLEEC와 동등하거나 이를 초월하며, 뛰어난 일반화 능력을 보여준다.
• RM 데이터셋에서는 훈련 데이터가 제한되어 있어 SLEEC가 DocTag2Vec를 앞서지만, DocTag2Vec는 더 나은 확장성과 증분 학습 지원 덕분에 경쟁 가능한 성능을 유지한다.
• NCT 데이터셋에서의 DocTag2Vec 증분 학습은 높은 성능을 유지하며, 정밀도가 항상 Doc2Vec를 앞서고 SLEEC와도 경쟁 가능하다.
• DocTag2Vec의 전체 리콜은 SLEEC보다 略적으로 높아, 관련 태그의 커버리지가 향상됨을 시사한다.
• 사례 연구 결과, 여러 사례에서 편집자의 판단보다 DocTag2Vec가 더 관련성이 높은 태그를 예측하는 것으로 나타났으며, 특히 농구 뉴스를 잘못된 /Baseball/ 태그가 아닌 /Sports & Recreation/Basketball/ 태그로 정확히 식별한 바가 있다.