[論文レビュー] A* CCG Parsing with a Supertag and Dependency Factored Model

Masashi Yoshikawa, Hiroshi Noji+1 more|arXiv (Cornell University)|Apr 23, 2017

Natural Language Processing Techniques参考文献 24被引用数 11

ひとこと要約

この論文は、CCG木の確率をスーパータグのカテゴリと句構造的依存関係に分解し、両者を双方向LSTMを用いて予測することで、A* CCGパーサーを提案する。supertagと主語依存関係を同時にモデル化することにより、決定的ルールを用いずにアタッチメントのあいまいさを解消し、すべての確率を事前計算可能にすることで効率的な前処理を可能にし、英語および日本語のCCGパーサーのベンチマークで最先端の結果を達成した。

ABSTRACT

We propose a new A* CCG parsing model in which the probability of a tree is decomposed into factors of CCG categories and its syntactic dependencies both defined on bi-directional LSTMs. Our factored model allows the precomputation of all probabilities and runs very efficiently, while modeling sentence structures explicitly via dependencies. Our model achieves the state-of-the-art results on English and Japanese CCG parsing.

研究の動機と目的

• スーパータギング後に残存するアタッチメントのあいまいさを、構文的依存関係を明示的にモデル化することで解消すること。
• すべての確率を事前計算可能にすることで、A*探索の効率を維持するため、モデルを局所的に因子化すること。
• 自由な語順を持つ言語において決定的ヒューリスティクスが失敗する状況でも、英語および日本語のパーサーの精度を向上させること。
• ラベルなしデータからスーパータグと依存関係の主語を共同で学習するための三重学習法を拡張すること。

提案手法

• モデルは双方向LSTMを用いて、文内の各トークンについて同時にスーパータグと主語語を予測する。
• CCG木の確率は、各語ごとに独立に計算されるスーパータグ確率と依存関係主語確率の積に分解される。
• 潜在的な主語語をスコアリングするために双線形変換が用いられ、依存関係モデルのエンド・ツー・エンド微分可能訓練が可能になる。
• ラベルなしデータを用いた三重学習により、特にリソースが限られた状況でも一般化性能を向上させる。
• A*探索は結合スコアを用い、事前に計算された確率のおかげで効率的な推論が可能になる。
• モデルはスーパータグと主語予測の両タスクにおける交差エントロピー損失を用いてエンド・ツー・エンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 構文的依存関係を明示的にモデル化することで、単なるスーパータギングを超えてA* CCGパーサーの性能が向上するか？
• RQ2 双方向LSTMを用いたスーパータグと依存関係の共同学習が、A*パーサーの効率を維持しながら精度を向上させるか？
• RQ3 自由な語順を持つ言語、例えば日本語において、「低くアタッチする」などの決定的ヒューリスティクスを上回れるか？
• RQ4 ラベルなしデータを用いた三重学習が、CCGパーサーのタスクにおいてどの程度パフォーマンスを向上させるか？

主な発見

• 英語のCCGbankテストセットでは、ラベルなしF1が94.0%、ラベル付きF1が88.8%を達成し、新たな最先端の結果を記録した。
• 日本語のCCGパーサーにおいて、モデルは「低くアタッチする」ヒューリスティクスを用いたベースライン手法よりも、節の依存関係精度で10.0ポイント向上させた。
• スーパータグと依存関係の共同モデル化により、決定的アタッチメントルールの必要性がなくなり、単にスーパータグベースのモデルでは依然として残存するあいまいさが解消された。
• すべての確率を事前計算することで、再帰的ニューラルネットワークを用いずに高速なA*探索を維持した。
• 三重学習アプローチは、英語および日本語の両方で顕著なパフォーマンス向上をもたらし、ラベルなしデータを活用する利点を示した。