[論文レビュー] Geometry-Aware Supertagging with Heterogeneous Dynamic Convolutions

Konstantinos Kogkalidis, Michael Moortgat|arXiv (Cornell University)|Mar 23, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、句構造文法のカテゴリーの線形的順序および木構造的内部構成を明示的にモデル化するため、異種動的グラフ畳み込みを用いた幾何構造に配慮したスーパータギングフレームワークを提案する。構造的出力空間（文の順序、サブワード表現、内部および相互の木依存関係を含む）上でグラフ畳み込みを活用することで、複数の言語および形式的体系において最先端の性能を達成し、希少語および未知語のカテゴリーの予測を著しく改善する。

ABSTRACT

The syntactic categories of categorial grammar formalisms are structured units made of smaller, indivisible primitives, bound together by the underlying grammar's category formation rules. In the trending approach of constructive supertagging, neural models are increasingly made aware of the internal category structure, which in turn enables them to more reliably predict rare and out-of-vocabulary categories, with significant implications for grammars previously deemed too complex to find practical use. In this work, we revisit constructive supertagging from a graph-theoretic perspective, and propose a framework based on heterogeneous dynamic graph convolutions aimed at exploiting the distinctive structure of a supertagger's output space. We test our approach on a number of categorial grammar datasets spanning different languages and grammar formalisms, achieving substantial improvements over previous state of the art scores. Code will be made available at https://github.com/konstantinosKokos/dynamic-graph-supertagging

研究の動機と目的

• 構文的カテゴリーの幾何的構造を明示的にモデル化することで、低リソースおよび未知語カテゴリーの予測という課題に取り組む。
• 従来のシーケンスベースまたは自己回帰的モデルが、カテゴリー木間の構造的依存関係を捉えられていないという限界を克服する。
• 時間的・メモリ的複雑度が良好なまま、並列デコードを可能にする微分可能でエンドツーエンドのフレームワークを設計する。
• 木内および木間の文脈フローを統合することで、希少および未観測の構文的カテゴリーへの一般化を向上させる。
• 構造的に制約付きで、真に階層的性質を反映する「構成上正しい」出力空間を提供する。

提案手法

• モデルは、出力空間を異種動的グラフとして表現し、ノードをカテゴリー要因、エッジを構造的関係（例：親子、兄弟、文の順序）でエンコードする。
• 異種グラフアテンションネットワークを用いて、異なる表現とスケールを持つ複数のエッジタイプ（例：木構造、語順、サブワード）を処理する。
• 動的グラフ補完機構により、自己回帰的依存関係を、各予測ステップを木ノードの高階近傍と一致させることでモデル化し、構造的文脈フローを可能にする。
• 文脈に応じたサブワード埋め込みを用い、カテゴリ形成ルールを尊重するグラフベースのデコードプロセスにより構造的妥当性を強制する。
• 各木ごとの予測を分離することで、構造的一致性を保ちながら、全シーケンスにわたる並列デコードを可能にする。
• モデルはエンドツーエンド微分可能であり、事前に定義された語彙を必要とせず、未観測カテゴリーへの頑健な一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 構文的カテゴリーの幾何的構造を明示的にモデル化することで、特に希少語や未知語のタイプに対してスーパータギング性能が向上するか？
• RQ2 木内および木間の文脈フローは、構成的スーパータギングにおける一般化にどのように寄与するか？
• RQ3 自己回帰的またはシーケンスベースのモデルよりも、グラフベースのアプローチが、効率的で並列化可能な推論を維持しながら、より高い精度を達成できるか？
• RQ4 異種エッジタイプ（例：木エッジ、語順）を統合することで、出力空間における表現学習がどの程度向上するか？
• RQ5 標準トランスフォーマーの2乗時間複雑度を回避する、微分可能で構成上正しいスーパータギングフレームワークを設計するのは可能か？

主な発見

• 提案モデルは、3言語および4つの文法形式をカバーする4つの多様な句構造文法データセットにおいて、新たな最先端の結果を達成した。
• アブレーションスタディにより、木内および木間の文脈フローの両方が性能に不可欠であることが確認され、いずれかを除去すると精度が著しく低下した。
• 構文的タイプの階層的構造を明示的にモデル化することで、希少語および未知語カテゴリーへの一般化が向上した。
• 標準のトランスフォーマーに基づくデコーダーと比較して、時間的およびメモリ的複雑度が良好を維持し、より高速かつスケーラブルな推論を可能にした。
• 異種動的グラフ畳み込みの使用により、語順、木構造、サブワード特徴など複数の構造的信号の有効な統合が可能になり、固定語彙を必要としなかった。
• 性能向上にもかかわらず、モデルのデコードプロセスは標準的なグリーディーやビームサーチと互換性がなく、下流のパーサーにおける多仮説予測を制限している。