[論文レビュー] Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach

Wenpeng Yin, Jamaal Hay+1 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 25被引用数 34

ひとこと要約

本論文は、複数の側面（トピック、感情、状況）にわたるゼロショットテキスト分類（0shot-tc）をベンチマークし、データセットと評価を標準化し、タスク固有の訓練なしで未知ラベルに対処するためのテキスト含意フレームワークを提案する。

ABSTRACT

Zero-shot text classification (0Shot-TC) is a challenging NLU problem to which little attention has been paid by the research community. 0Shot-TC aims to associate an appropriate label with a piece of text, irrespective of the text domain and the aspect (e.g., topic, emotion, event, etc.) described by the label. And there are only a few articles studying 0Shot-TC, all focusing only on topical categorization which, we argue, is just the tip of the iceberg in 0Shot-TC. In addition, the chaotic experiments in literature make no uniform comparison, which blurs the progress. This work benchmarks the 0Shot-TC problem by providing unified datasets, standardized evaluations, and state-of-the-art baselines. Our contributions include: i) The datasets we provide facilitate studying 0Shot-TC relative to conceptually different and diverse aspects: the ``topic'' aspect includes ``sports'' and ``politics'' as labels; the ``emotion'' aspect includes ``joy'' and ``anger''; the ``situation'' aspect includes ``medical assistance'' and ``water shortage''. ii) We extend the existing evaluation setup (label-partially-unseen) -- given a dataset, train on some labels, test on all labels -- to include a more challenging yet realistic evaluation label-fully-unseen 0Shot-TC (Chang et al., 2008), aiming at classifying text snippets without seeing task specific training data at all. iii) We unify the 0Shot-TC of diverse aspects within a textual entailment formulation and study it this way. Code & Data: https://github.com/yinwenpeng/BenchmarkingZeroShot

研究の動機と目的

• トピック分類を超えて多様な側面（topic, emotion, situation）を含むよう0shot-tcをベンチマークする。
• 訓練/開発/テストの分割と seen/unseen クラスの分離を備えた標準化されたデータセットを提供する。
• ラベル部分的未見（label-partially-unseen）およびラベル完全未見（label-fully-unseen）の設定へ評価を拡張する。
• オープンラベルの一般化を可能にするため、0shot-tcの統一的なテキスト含意定式を提案する。
• 公正な比較を促進するためにデータセットとコードを公開する。

提案手法

• 3つの側面（トピック検出、感情検出、状況フレーム検出）のデータセットを、訓練/開発/テスト分割とseen/unseenクラスの分割を含めて作成する。
• ラベル部分的未見（標準的0shot-tc）とラベル完全未見（タスク非依存、タスク固有の訓練なし）の評価を導入する。
• 各ラベルを特定の側面の仮説に変換して、0shot-tcをテキスト含意問題として定式化する。
• MNLI、FEVER、RTEで訓練されたBERTベースの含意モデルを使用して、候補ラベルのテキストと仮説の含意を判断する。
• ラベル名またはWordNetのラベル定義のいずれかを用いてラベルの仮説を生成し、単一ラベル設定とマルチラベル設定を評価する。
• 複数の含意モデルと仮説生成手法を組み合わせたアンサンブル方式を検討する。

実験結果

リサーチクエスチョン

• RQ1 標準化されたデータセットと評価プロトコルは、0shot-tc手法間の公正な比較を可能にするか？
• RQ2 0shot-tcをテキスト含意として定式化することで、タスク固有の訓練なしで多様な側面に対するゼロショット分類は有効になるか？
• RQ3 異なる仮説生成戦略（語彙ベース、定義ベース、組み合わせ）は0shot-tcの性能にどのような影響を与えるか？
• RQ4 事前学習済み含意モデル（MNLI、FEVER、RTE）を用いることは、ラベル部分的未見とラベル完全未見の設定でどのような影響を与えるか？
• RQ5 含意モデルと仮説のアンサンブルは、トピック、感情、状況タスク全般でロバストか？

主な発見

• 含意ベースの0shot-tcアプローチは、見えるラベルでは競争力のある結果を示し、トピック、感情、状況の各側面で未知ラベルの性能を大幅に向上させる。
• MNLIベースの含意は、ラベル部分的未見設定で一般的に最も強い性能を発揮し、タスクごとに差異がある。
• ラベル完全未見設定では、RTEベースのモデルが時にMNLIやFEVERを上回る場面があり、データセットの収集効果を示す。
• 語彙ベースおよび定義ベースの仮説生成はタスク依存的な効果を持つ；それらを組み合わせたアンサンブルがしばしば最良の結果を生む。
• Wikipediaベースの事前学習ベースラインはトピック検出には有効だが、感情・状況タスクには必ずしも効果的ではない。