[論文レビュー] DocTag2Vec: An Embedding Based Multi-label Learning Approach for Document Tagging

Sheng Chen, Akshay Soni+2 more|arXiv (Cornell University)|Jul 14, 2017

Text and Document Classification Technologies参考文献 28被引用数 6

ひとこと要約

本稿では、Doc2Vecの拡張を用いて、語、文書、タグの分散表現を共有のベクトル空間で同時に学習する、新たなマルチラベル学習手法であるDocTag2Vecを提案する。学習済みのタグ埋め込みにおけるk近傍探索を活用することで、SLEEC や Doc2Vec といった既存手法を上回る最先端の性能を複数のベンチマークデータセットで達成し、特にインクリメンタル学習や動的タグ処理の状況下で顕著な優位性を示す。

ABSTRACT

Tagging news articles or blog posts with relevant tags from a collection of predefined ones is coined as document tagging in this work. Accurate tagging of articles can benefit several downstream applications such as recommendation and search. In this work, we propose a novel yet simple approach called DocTag2Vec to accomplish this task. We substantially extend Word2Vec and Doc2Vec---two popular models for learning distributed representation of words and documents. In DocTag2Vec, we simultaneously learn the representation of words, documents, and tags in a joint vector space during training, and employ the simple $k$-nearest neighbor search to predict tags for unseen documents. In contrast to previous multi-label learning methods, DocTag2Vec directly deals with raw text instead of provided feature vector, and in addition, enjoys advantages like the learning of tag representation, and the ability of handling newly created tags. To demonstrate the effectiveness of our approach, we conduct experiments on several datasets and show promising results against state-of-the-art methods.

研究の動機と目的

• ソーシャルメディアやニュースプラットフォームにおけるリアルタイムで、インクリメンタルかつ動的タギングの課題に対処すること。
• マルチラベル学習において事前抽出された特徴ベクトルの必要性を排除し、直接的に生テキストを処理すること。
• 学習可能なタグ埋め込みを用いて、新規タグの動的処理を可能にし、進化するタグセットをサポートすること。
• 文書と関連タグの間の意味的関係を捉えることで、タギングの正確性を向上させること。
• 将来的なNLPアプリケーションで再利用可能で意味的に明確なベクトル表現をタグに提供すること。

提案手法

• Doc2Vecを拡張し、共有の埋め込み空間内で文書、語、タグの密なベクトル表現を同時に学習する。
• 確率的勾配降下法（SGD）を用いて、生テキストと関連するタグ上でモデルを学習し、文書とその正例タグの間の意味的類似度を最適化する。
• 学習済みのタグ埋め込みに対してk近傍（k-NN）探索を実施し、未学習の文書に対して関連するタグを予測する。
• 新規の文書とタグを再学習せずに更新することで、インクリメンタル学習をサポートする。
• 各タグに対して固有の埋め込みベクトルを学習し、新規に作成されたタグを動的に処理できるようにする。
• Word2Vec や Doc2Vec と同様のスキップグラムアーキテクチャを採用し、学習中にタグを追加の文脈トークンとして扱う。

実験結果

リサーチクエスチョン

• RQ1 語、文書、タグの表現を同時に学習する共同埋め込みモデルは、従来のマルチラベル学習手法に比べ、文書タギングの分野で優れた性能を発揮できるか？
• RQ2 DocTag2Vecは、再訓練なしに、進化するタグセットや新規タグをどの程度効果的に処理できるか？
• RQ3 異なるデータセットと評価指標において、SLEEC や Doc2Vec といった最先端手法と比較して、DocTag2Vecの性能はどの程度か？
• RQ4 タグ埋め込みにk-NNを適用することで、マルチラベルタギングにおける一般化性能と精度が向上するか？
• RQ5 学習済みのタグ埋め込みは、編集判断が不十分な場合でも、学習データを超えたタギング品質の向上に寄与できるか？

主な発見

• Wiki10データセットでは、DocTag2VecはSLEECと同等の精度を達成し、特にkが増加するにつれて、ベースラインのDoc2Vecを顕著に上回る。
• WikiNERでは、k>1の精度@kにおいて、DocTag2VecはSLEECと同等またはそれを上回り、優れた一般化性能を示している。
• RMデータセットでは、限られた学習データのためSLEECがDocTag2Vecを上回るが、DocTag2Vecはスケーラビリティとインクリメンタル学習のサポートが優れており、競争力のある結果を示している。
• NCTデータセットにおけるDocTag2Vecのインクリメンタル学習は、高い性能を維持しており、Doc2Vecを常に上回り、SLEECに対しても競争力がある。
• DocTag2Vecの全体的なリCALLはSLEECをわずかに上回っており、関連タグのカバー範囲が広がっていることが示唆される。
• 事例研究では、DocTag2Vecが編集判断よりもより関連性の高いタグを予測しており、特にバスケットボール関連のNBAニュースを「/Sports & Recreation/Basketball」に正しく識別している。