[論文レビュー] Improving Natural Language Inference with a Pretrained Parser

Deric Pang, Lucy H. Lin+1 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling参考文献 23被引用数 16

ひとこと要約

この論文は、事前に学習された依存解析器から得られる文脈的構文表現を、既存のNLIモデルに統合することで、自然言語推論（NLI）の性能を向上させる、シンプルでありながら効果的な手法を提案する。これらの構文的単語表現（SWRs）を遅延統合（late fusion）またはアテンションメカニズムを用いて統合することで、SNLI、MNLI、SciTailの複数のベンチマークで、4つの強力なNLIモデル（分解可能なアテンション、ESIM、BERT、MT-DNN）において一貫した精度向上が得られ、HANSでは最大3.1%の向上が見られ、誤ったヒューリスティクスへの依存が軽減されていることが示された。

ABSTRACT

We introduce a novel approach to incorporate syntax into natural language inference (NLI) models. Our method uses contextual token-level vector representations from a pretrained dependency parser. Like other contextual embedders, our method is broadly applicable to any neural model. We experiment with four strong NLI models (decomposable attention model, ESIM, BERT, and MT-DNN), and show consistent benefit to accuracy across three NLI benchmarks.

研究の動機と目的

• 事前に学習されたパーサーからの構文構造を組み込むことで、ニューラルNLIモデルの性能を向上させること。
• 大規模な解析の事前学習から得られる構文表現が、NLIにおける意味的推論を向上させることを検証すること。
• アーキテクチャの変更なしに、多様なNLIアーキテクチャに適用可能な一般化可能でパラメータ効率の良い手法を開発すること。
• 構文表現の統合が、HANSベンチマークで測定したように、誤った語彙的・構文的ヒューリスティクスへの過剰な依存を軽減するかどうかを評価すること。

提案手法

• 前提文と仮説文の両方のトークンレベルの文脈的ベクトル表現（構文的単語表現、SWRs）を、事前に学習された依存解析器のエンコーダーの隠れ状態から抽出する。
• 遅延統合（+LF）を適用する：分類の直前までに、前提文と仮説文の最終的なパーサー表現を連結する。
• 構文的アテンション（+SA）を実装する：標準的なアテンション計算にSWRsを追加し、注意スコアを意味的表現と構文的表現の両方を含むように変更する。
• SWRsを、分解可能なアテンション、ESIM、BERT、MT-DNNの4つのNLIモデルに、モデルの互換性に応じて+LFまたは+SAを用いて統合する。
• 事前学習済みパーサーのパラメータを保持したまま、標準的なNLIの目的関数に従ってエンドツーエンドでモデルを訓練する。
• SNLI、MNLI、SciTailでの性能を評価し、HANSデータセットを用いてヒューリスティクスへの依存度をプローブする。

実験結果

リサーチクエスチョン

• RQ1 事前に学習されたパーサーからの構文表現が、多様なニューラルNLIモデルの精度を向上させることができるか？
• RQ2 構文情報の統合が、誤った語彙的・構文的ヒューリスティクスへのモデルの依存を軽減するか？
• RQ3 遅延統合または構文的アテンションのどちらの手法が、異なるNLIアーキテクチャにおいてより効果的か？
• RQ4 構文表現による改善効果が、データ分布が異なる複数のNLIベンチマークに一般化されるか？

主な発見

• 提案手法は、SNLI、MNLI、SciTailの4つの強力なモデル（分解可能なアテンション、ESIM、BERT、MT-DNN）において一貫してNLI精度を向上させた。
• 遅延統合（+LF）は一貫した改善をもたらし、DA +SAモデルではSciTailデータセットで3.1%の絶対的向上が得られた。
• 構文的アテンション（+SA）は、モデルが不安定なヒューリスティクスに依存するのを軽減した：例えば、BERT +LFはHANS全体の精度を50.2%から53.2%に向上させ、帰結と非帰結のラベル間でよりバランスの取れた性能を示した。
• HANSベンチマークでは、SWRsを統合したモデルが、帰結と非帰結のケースにおける性能差を顕著に軽減しており、構文的ショートカットの利用が減少していることが示された。
• アブレーションスタディの結果、+LFはノイズに対して頑健であるのに対し、+SAはノイズが加わると困難をきたすことが判明し、実用的観点から+LFがより信頼性が高いことが示された。
• この手法は広く適用可能で、追加パラメータが最小限であるため、既存のNLIシステムにとって実用的で効果的な強化手段である。