[論文レビュー] AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples

Dongyeop Kang, Tushar Khot+2 more|arXiv (Cornell University)|May 12, 2018

Natural Language Processing Techniques被引用数 9

ひとこと要約

本論文は、知識誘導型ルールテンプレートとseq2seqジェネレータを組み合わせることで、低データ環境におけるモデルの頑健性を向上させるGAN風の敵対的訓練フレームワーク、AdvEntuReを提案する。言語的知識と微分可能なジェネレータを用いて反復的に敵対的例を生成することで、SciTailでは4.7%、1%のSNLIサブセットでは2.8%の精度向上を達成し、単一の否定ルールが否定例の精度を6.1%向上させる。

ABSTRACT

We consider the problem of learning textual entailment models with limited supervision (5K-10K training examples), and present two complementary approaches for it. First, we propose knowledge-guided adversarial example generators for incorporating large lexical resources in entailment models via only a handful of rule templates. Second, to make the entailment model - a discriminator - more robust, we propose the first GAN-style approach for training it using a natural language example generator that iteratively adjusts based on the discriminator's performance. We demonstrate effectiveness using two entailment datasets, where the proposed methods increase accuracy by 4.7% on SciTail and by 2.8% on a 1% training sub-sample of SNLI. Notably, even a single hand-written rule, negate, improves the accuracy on the negation examples in SNLI by 6.1%.

研究の動機と目的

• 5K～10Kの例にとどまる低監視環境におけるテキスト entailment モデルの改善を目的とし、ここではしばしば希少または敵対的言語パターンに失敗する。
• SNLI や SciTail のようなデータセットにおける繰り返しパターンへの過剰適合によって引き起こされるモデルの脆さを解消すること。
• アーキテクチャの変更なしに、敵対的データ拡張を用いて頑健性を向上させる、モデルに依存しない手法の開発。
• 大規模な言語資源（例：WordNet、PPDB）と単純な言語ルール（例：否定）を、最小限のルールテンプレートを通じてディープラーニングモデルに統合すること。
• 識別器の性能に基づいてジェネレータが進化するGAN風のフレームワークを用いて、頑健な entailment 識別器を訓練すること。

提案手法

• 知識誘導型敵対的例ジェネレータは、少数のルールテンプレート（例：否定、同義語置換）を用いて、WordNet や PPDB などの語彙リソースを活用して前提と仮説を変換する。
• seq2seqジェネレータは、entailment、contradiction、neutral の各クラスごとに訓練され、与えられた前提から多様で自然な仮説を生成する。
• ジェネレータは識別器の生成例に対する損失に基づいて更新されるGAN風の訓練ループを採用し、合成データの質と敵対的強度を向上させる。
• 識別器（entailment モデル）は、実データと敵対的に生成された例の組み合わせで訓練され、言語的変異に対してより頑健になる。
• ルールベースのジェネレータは実データ例に適用され、否定や語の同義語置換といった敵対的バージョンを生成する。
• ジェネレータは例ごとの損失フィードバックを用いてファインチューニングされ、識別器を挑戦するハードな例の的確な生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 少数の手作業による言語ルールが、低データにおける一般化性能を顕著に向上させることができるか？
• RQ2 GAN風のフレームワークが、反復的な敵対的データ生成を通じて、entailment モデルの頑健性を向上させることができるか？
• RQ3 entailment モデルのアーキテクチャを変更せずに、WordNet や PPDB などの大規模語彙リソースからの知識をどの程度活用できるか？
• RQ4 ルールベースとニューラルのseq2seqジェネレータを組み合わせることで、単独で用いる場合よりも高い性能が得られるか？
• RQ5 知識誘導型例に基づく敵対的データ拡張により、特に否定のような希少な言語現象において、低データ環境での性能格差を埋めることができるか？

主な発見

• AdvEntuReはSciTailデータセットで4.7%の精度向上を達成し、低データ環境における強力な改善効果を示した。
• SNLIの1%サブセット（10K例）では、ベースラインモデル比で2.8%の精度向上を達成した。
• 単一の否定ルール（'negate'）が、SNLIの否定固有の例における性能を6.1%向上させ、単純な言語ルールの価値を示した。
• PPDBに基づく並記法はSNLIで最大の利得（+3.6%）をもたらしたが、否定ルールはSciTailで最も効果的で（アブレーションで+8.2%）、特に顕著であった。
• すべてのentailmentクラスにわたって訓練されたseq2seqジェネレータが、最高の全体的性能を達成し、GANフレームワークの適応的データ拡張としての有効性を裏付けた。
• 定性的分析により、知識誘導型ジェネレータは、トレーニングデータサイズに依存せず、高品質で意味的に妥当な敵対的例を生成することが確認された。