[論文レビュー] A Critical Analysis of Biased Parsers in Unsupervised Parsing

Chris Dyer, Gábor Melis+1 more|arXiv (Cornell University)|Sep 20, 2019

Natural Language Processing Techniques参考文献 21被引用数 22

ひとこと要約

この論文は、句構造木を言語モデルの表現から、文法的深さの代理指標に基づく貪欲なトップダウン分割プロセスによって推論する、広く使われている非教師ありパーサー $ύbar{\textrm{COO}}$ を批判的に分析する。著者らは、従来のLSTMが特化したアーキテクチャと同等のパーサフォーマンスを達成することを示す一方で、パーサーが不完全であり、右分岐構造への強いバイアスを示していることを明らかにした。これにより、英語に類似した言語では性能が誇張され、言語モデルの構造的熟達性に関する主張が揺らがされることになった。

ABSTRACT

A series of recent papers has used a parsing algorithm due to Shen et al. (2018) to recover phrase-structure trees based on proxies for "syntactic depth." These proxy depths are obtained from the representations learned by recurrent language models augmented with mechanisms that encourage the (unsupervised) discovery of hierarchical structure latent in natural language sentences. Using the same parser, we show that proxies derived from a conventional LSTM language model produce trees comparably well to the specialized architectures used in previous work. However, we also provide a detailed analysis of the parsing algorithm, showing (1) that it is incomplete---that is, it can recover only a fraction of possible trees---and (2) that it has a marked bias for right-branching structures which results in inflated performance in right-branching languages like English. Our analysis shows that evaluating with biased parsing algorithms can inflate the apparent structural competence of language models.

研究の動機と目的

• 従来のLSTMが、ON-LSTMのような特化したアーキテクチャと同等の非教師ありパーサフォーマンスを達成できるかどうかを評価すること。
• $ύbar{\textrm{COO}}$ パーサーの構造的制限、特にすべての有効な二分木を回復できないことの調査。
• 最大スコア位置に基づく貪欲な分割ルールが、右分岐構造への固有のバイアスをどのように生じさせるかの分析。
• バイアスを有するアルゴリズムを用いた場合、特に言語モデルの構造的熟達性を評価する際、F1スコアの高さを過剰に解釈しないよう研究者に警告すること。
• 分岐方向の一貫性を持つ言語に有利にならない、言語に依存しないパーサ評価手法の提言。

提案手法

• $ύbar{\textrm{COO}}$ パーサーは、スパン $[i,j]$ を、ベクトル $\mathbf{s} \in \mathbb{R}^n$ の最大スコア位置に基づいて、2つの部分スパンに再帰的に分割するトップダウン方式で動作する。ここで $s_i$ は単語 $i$ における文法的深さの代理指標を表す。
• パーサーは4つの推論ルールを適用する：二分分割（単一語のスパン用）、左分割（最大スコアが左端にある場合）、右分割（最大スコアが右端にある場合）、および中央分割（最大スコアがスパン内に厳密に存在する場合）。
• 著者らは、標準LSTMの全レイヤーにおける忘却ゲート値の合計を、文法的深さの代理指標として用い、公平な比較を確保するため、特化したON-LSTM機構を置き換えた。
• パーサーの完全性は、分割ルールに従って生成可能な二分木の種類を検討することで分析され、スパン境界に依存する最大スコアの依存性により、多くの有効な木構造が到達不能であることが明らかになった。
• パーサーのLバージョン（分割点を左子に配置）とRバージョン（分割点を右子に配置）を比較することで、意思決定ルールが構造的バイアスに与える影響を分離した。
• 形式的証明により、パーサーがすべての可能な二分木を生成できないことが示された。特に、最大スコアが端点にない非末端分割を必要とする木構造は、生成不能である。

実験結果

リサーチクエスチョン

• RQ1 同じ $ύbar{\textrm{COO}}$ パーサーアルゴリズムを用いる場合、従来のLSTMはON-LSTMのような特化アーキテクチャと同等のパーサフォーマンスを達成できるか？
• RQ2 $ύbar{\textrm{COO}}$ パーサーは、すべての可能な二分木構造を回復できるか、その程度はいかほどか？
• RQ3 最大スコア位置に基づく貪欲な分割ルールは、どのように右分岐構造への構造的バイアスを生じさせるか？
• RQ4 この構造的バイアスは、英語のような右分岐言語における言語モデルの文法的熟達性の評価にどのような影響を及ぼすか？
• RQ5 アルゴリズム的バイアスによる過大評価を避けるために、パーサ評価をどのように言語に依存しないものにできるか？

主な発見

• 同じ $ύbar{\textrm{COO}}$ パーサーアルゴリズムを用いる場合、従来のLSTMは特化したON-LSTMアーキテクチャと同等のパーサフォーマンスを達成する。
• $ύbar{\textrm{COO}}$ パーサーは不完全である：最大スコア位置に依存する分割ルールの性質により、一部の構造的配置が到達不能であり、すべての可能な二分木を回復できない。
• パーサーは、最大スコアが常に子スパンのいずれかに保持されるため、右端に最大スコアが位置する分割を好むことから、右分岐構造への強いバイアスを示している。
• この構造的バイアスにより、右分岐構造が一般的な英語のような言語ではF1スコアが誇張され、実際の言語モデルの構造的熟達性が過大評価される。
• パーサーがすべての有効な木を生成できないことにより、ニューラル言語モデルにおける構造的構造発見の診断ツールとしての信頼性が損なわれる。
• 単語間の遷移をスコアリングする、または個々の単語ではなくスパンをスコアリングするといった代替スコアリング方式は、バイアスを軽減できる可能性があるが、それらをニューラルネットワークの活性化と結びつけるための新たなリンク仮説の導入が不可欠である。