[論文レビュー] Train Once, Test Anywhere: Zero-Shot Learning for Text Classification

Pushpankar Kumar Pushp, Muktabh Mayank Srivastava|arXiv (Cornell University)|Dec 16, 2017

Domain Adaptation and Few-Shot Learning参考文献 2被引用数 75

ひとこと要約

論文は、二値設定で文とタグの関連性を予測するゼロショット学習フレームワークを提示し、再学習せずデータセット間の一般化を可能にする。SEOタグを用いたWeb見出しのソースデータセットを用いて三つのニューラルアーキテクチャを提案し、データセット間転移を実証する。

ABSTRACT

Zero-shot Learners are models capable of predicting unseen classes. In this work, we propose a Zero-shot Learning approach for text categorization. Our method involves training model on a large corpus of sentences to learn the relationship between a sentence and embedding of sentence's tags. Learning such relationship makes the model generalize to unseen sentences, tags, and even new datasets provided they can be put into same embedding space. The model learns to predict whether a given sentence is related to a tag or not; unlike other classifiers that learn to classify the sentence as one of the possible classes. We propose three different neural networks for the task and report their accuracy on the test set of the dataset used for training them as well as two other standard datasets for which no retraining was done. We show that our models generalize well across new unseen classes in both cases. Although the models do not achieve the accuracy level of the state of the art supervised models, yet it evidently is a step forward towards general intelligence in natural language processing.

研究の動機と目的

• テキスト分類のゼロショット学習フレームワークを、文とタグの二値関連性タスクとして導入する。
• 一つのデータセットで学習したモデルが他のデータセットのデータを再学習なしで分類できるよう、データセット間の一般化を可能にする。
• ゼロショットテキスト分類の三つのニューラルアーキテクチャを提案・評価する。
• ノイズのある大規模データでの訓練が、見落としのクラスやデータセットへの一般化を改善できることを示す。

提案手法

• タスクを二値分類としてモデル化する：与えられた文が特定のタグに関連しているかを予測する。
• バイナリ交差エントロピー損失を用いて、SEOタグを持つニュース見出しの大規模ソースデータセットで訓練する。
• アーキテクチャ3つを開発する：アーキテクチャ1は、平均プーリングされた単語埋め込みをタグ埋め込みと連結；アーキテクチャ2は、文中の単語のLSTMを用い、最後の隠れ状態をタグ埋め込みと連結；アーキテクチャ3は、[tag embedding : word] 入力のLSTMを用い、最後の隠れ状態を予測に用いる。
• 単語埋め込みは事前学習済みのGoogle News埋め込みで初期化する。
• unseen tags from the source dataset だけでなく、UCI News Aggregator と Tweet Classification のデータセットで、カテゴリ木構造を用いてタグをより広いクラスにマッピングして評価する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット学習は、未見のタグとデータセットに対して再学習なしで文とタグの関連性を予測できるか？
• RQ2 文とタグの埋め込みを活用するニューラルアーキテクチャは、新しいデータセットやカテゴリの粒度レベルに一般化できるか？
• RQ3 クロスデータセット評価のためにカテゴリツリーを使用する場合と直接のタグ名を使用する場合の性能はどう違うか？

主な発見

• アーキテクチャは、ソースデータセットのテストセットで二値関連性タスクに対して最大74%の精度を達成。
• アーキテクチャ3では、未見のタグに対してソースデータセット内で精度が78%まで向上。
• UCI News Aggregatorデータセットでは、カテゴリツリーアプローチがアーキテクチャにより61.73%–64.21%の精度を示し、監督下の最先端には及ばないが再学習なしのクロスデータセット一般化を実証。
• Tweet Classificationデータセットでは、カテゴリツリーベースの結果は約64.5%で、直接クラス名での分類はアーキテクチャ3で49%。
• 全体として、文とタグの関連性を学習し未見のデータセットや概念へ一般化する能力をモデルは示すが、改善の余地がある。
• 本研究は、ノイズの多いウェブ由来データで訓練すると、より一般化された表現が得られ、小規模なタスク特化データセットよりも有利になる可能性を強調。