[論文レビュー] Integrating Semantic Knowledge to Tackle Zero-shot Text Classification

Jingqing Zhang, Piyawat Lertvittayakumjorn+1 more|arXiv (Cornell University)|Mar 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 17

ひとこと要約

本稿では、単語埋め込み、クラス記述、クラス階層、ConceptNetを統合する2段階のCNNベースのフレームワークを提案し、ラベルなしの未学習クラスに対するゼロショットテキスト分類を可能にする。トピック翻訳によるデータ拡張と、意味的知識を用いた特徴拡張を組み合わせることで、未学習クラスのラベルデータを一切必要とせず、実世界のデータセットで最先端の全体精度を達成する。

ABSTRACT

Insufficient or even unavailable training data of emerging classes is a big challenge of many classification tasks, including text classification. Recognising text documents of classes that have never been seen in the learning stage, so-called zero-shot text classification, is therefore difficult and only limited previous works tackled this problem. In this paper, we propose a two-phase framework together with data augmentation and feature augmentation to solve this problem. Four kinds of semantic knowledge (word embeddings, class descriptions, class hierarchy, and a general knowledge graph) are incorporated into the proposed framework to deal with instances of unseen classes effectively. Experimental results show that each and the combination of the two phases achieve the best overall accuracy compared with baselines and recent approaches in classifying real-world texts under the zero-shot scenario.

研究の動機と目的

• 動的ドメイン（ソーシャルメディアや医療診断など）において、ラベル付き学習データのない未学習クラスのテキスト分類という課題に対処すること。
• 既存のゼロショットテキスト分類手法が、学習済みクラスと未学習クラスの間の意味的対応に依存しているという限界を克服すること。
• 複数の意味的知識タイプを活用して未学習クラスに一般化可能な柔軟でエンドツーエンドのフレームワークを開発すること。
• 革新的なデータおよび特徴拡張技術を通じて、ゼロショット状況におけるモデルのロバスト性と精度を向上させること。

提案手法

• 2段階のフレームワークを提案：まず粗粒度フェーズでドキュメントが学習済みクラスか未学習クラスかを分類し、その後に細粒度フェーズで特定のクラスに割り当てる。
• トピック翻訳によるデータ拡張を実装し、単語埋め込みを用いて1つのクラスの意味的意味を別のクラスに移すことで、未学習クラスのデータをシミュレートする。
• 意味的知識（単語埋め込み、クラス記述、クラス階層、ConceptNet）を関係性ベクトルに統合して、未学習クラスの表現を特徴拡張する。
• すべての分類器を学習段階で、未学習クラスのアノテーションに依存せず、学習済みクラスのラベル付きデータのみで訓練する。
• 両フェーズで畳み込みニューラルネットワーク（CNN）を用いて階層的テキスト特徴を抽出し、エンドツーエンド学習を支援する。
• 複数の意味的知識ソースを統一された表現空間に統合し、未学習クラスへの一般化を強化する。

実験結果

リサーチクエスチョン

• RQ1 2段階のディーブラーニングフレームワークは、ゼロショットテキスト分類において、学習済みクラスと未学習クラスを効果的に区別できるか？
• RQ2 単語埋め込み、クラス記述、階層、知識グラフといった複数の意味的知識ソースを統合することで、ゼロショット一般化がどの程度向上するか？
• RQ3 トピック翻訳に基づくデータ拡張は、未学習クラスのインスタンス検出をどの程度向上させるか？
• RQ4 意味的知識を用いた特徴拡張は、学習済みクラスから未学習クラスへの知識転送をどの程度効果的に可能にするか？
• RQ5 提案されたフレームワークは、厳密なゼロショット設定において、既存のベースラインおよび最近の最先端手法を上回る性能を達成できるか？

主な発見

• 提案フレームワークは、20 NewsgroupsおよびDBPediaデータセットの両方で、すべての設定において最高の全体精度を達成し、すべてのベースラインおよび最近の手法を上回った。
• データ拡張と特徴拡張の組み合わせが、未学習クラスインスタンスの検出を顕著に向上させ、トピック翻訳が粗粒度分類器の性能を向上させた。
• 統合された意味的知識を用いた特徴拡張により、ラベル例が一切不要な状況でも効果的な知識転送が可能となり、未学習クラスへの一般化が実現した。
• フレームワークは高い柔軟性を示しており、分類器や知識ソースといった個々のモジュールを独立して交換または強化可能であった。
• 学習済みクラスにおいても高い性能を維持しながら、未学習クラスで最先端の精度を達成したため、効果的なゼロショット一般化が実現した。
• 実験により、本手法が厳密なゼロショット状況下でも有効であることが確認され、トレーニングクラスとテストクラスの間の意味的対応が不要であることが裏付けられた。