[論文レビュー] Cross-Domain Generalization of Neural Constituency Parsers

Daniel Fried, Nikita Kitaev+1 more|arXiv (Cornell University)|Jul 9, 2019

Natural Language Processing Techniques参考文献 33被引用数 4

ひとこと要約

この論文は、ニューラル構文解析器のゼロショットクロスドメイン一般化を調査しており、事前学習されたエンコーダーがドメインをまたいで性能を向上させる一方で、特にドメイン外のセットに対して顕著な利点をもたらさないことを示している。核となる発見は、構造的予測（順序に従ったデコード）が、強力な BERT ベースのエンコーダーを用いても、正確一致精度を著しく向上させ、長スパンおよびドメイン外コーパスへの一般化を改善することである。

ABSTRACT

Neural parsers obtain state-of-the-art results on benchmark treebanks for constituency parsing -- but to what degree do they generalize to other domains? We present three results about the generalization of neural parsers in a zero-shot setting: training on trees from one corpus and evaluating on out-of-domain corpora. First, neural and non-neural parsers generalize comparably to new domains. Second, incorporating pre-trained encoder representations into neural parsers substantially improves their performance across all domains, but does not give a larger relative improvement for out-of-domain treebanks. Finally, despite the rich input representations they learn, neural parsers still benefit from structured output prediction of output trees, yielding higher exact match accuracy and stronger generalization both to larger text spans and to out-of-domain corpora. We analyze generalization on English and Chinese corpora, and in the process obtain state-of-the-art parsing results for the Brown, Genia, and English Web treebanks.

研究の動機と目的

• 微調整なしで、ニューラル構文解析器がドメイン外テキストにどの程度一般化するかを評価すること。
• 多様なドメインにおけるニューラル解析器と非ニューラル解析器のゼロショット一般化性能を比較すること。
• 事前学習された言語表現（例：BERT）が、ドメイン外コーパスに対して、ドメイン内よりも相対的に大きな向上をもたらすかどうかを評価すること。
• 強い入力表現を用いても、構造的出力予測が一般化性能を向上させるかどうかを調査すること。
• 改良された一般化性能により、ブラウン、ジェニア、英語Webツリークエイズで最先端の結果を確立すること。

提案手法

• WSJ および CTB ツリークエイズのドメイン内データで、最先端のニューラル解析器（チャートおよびインオーダー）を学習した。
• ゼロショット設定下で、ドメイン外英語コーパス（ブラウン、ジェニア、EWT）および中国語コーパス（CTB）での一般化を評価した。
• 両方のニューラル解析器アーキテクチャに BERT ベースの事前学習エンコーダーを統合し、ドメイン一般化への影響を評価した。
• 構造的デコード（以前に予測された構造に依存するインオーダー）と非構造的デコード（スパンを独立に予測するチャート）を比較した。
• スパン長に応じて層別化された分析を実施し、F1 スコアおよび正確一致精度を指標にした。
• 標準的なベンチマーク分割を用い、先行研究のテストセットでの結果を直接比較可能な形で報告した。

実験結果

リサーチクエスチョン

• RQ1 ニューラル構文解析器は、非ニューラル解析器と同等にドメイン外コーパスに一般化できるか、ゼロショット設定下で？
• RQ2 事前学習された言語表現（例：BERT）は、ドメイン内と比較してドメイン外ツリークエイズに対して相対的に大きな改善をもたらすか？
• RQ3 強い事前学習エンコーダーを用いても、構造的予測（例：遷移ベースのデコード）が、長スパンおよびドメイン外テキストへの一般化を向上させるか？
• RQ4 ドメイン内ベンチマーク（例：WSJ）での改善が、ドメイン外設定に信頼性を持って伝播するか？
• RQ5 構造的および非構造的ニューラル解析器の正確一致精度は、ドメインおよびスパン長に応じてどのように比較されるか？

主な発見

• ニューラルおよび非ニューラル解析器は、ドメイン外コーパスへの一般化において同等の性能を示し、ドメイン間での相対的性能低下も類似している。
• 事前学習された BERT エンコーダーはすべてのドメインで F1 スコアを向上させるが、ドメイン内とドメイン外の両方で一貫した誤差低減率を示しており、ドメイン外一般化に対して顕著な相乗効果がないことが示された。
• インオーダー解析器（構造的デコーダー）は、すべてのドメインでチャート解析器（非構造的デコーダー）よりも高い正確一致精度を達成しており、絶対的な改善幅は 0.5 ～ 2.8 パcent 点にのぼる。
• 長スパン（≥30～40語）では、インオーダー解析器が F1 スコアで著しくチャート解析器を上回り、性能差は長スパンに達してから顕在化し、ドメイン内 WSJ テストセットでは観察されない。
• ドメイン内データでは F1 スコアが類似しているにもかかわらず、構造的インオーダー解析器はドメイン外コーパスおよび長スパンへの一般化が優れていることから、構造的予測が耐性を高めることを示している。
• 著者らは、アンサンブルや自己トレーニングを用いずに、ブラウン、ジェニア、英語Webツリークエイズで最先端の F1 スコアを達成した。