[論文レビュー] Compositional Generalization via Semantic Tagging

Hao Zheng, Mirella Lapata|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 33被引用数 6

ひとこと要約

本稿では、入力発話を意味的記号（例：述語やSQLカラム）でタグ付けするニューラルタガーモデルを最初の段階として用い、その後に入力とタグ列の両方に条件付けられたシーケンス・トゥ・シーケンスモデルで意味表現を生成する二段階のニューラル意味解析フレームワークを提案する。この手法により、分離可能で語彙的処理に類似した処理を可能にし、注目メカニズムに起因する干渉を低減することで、複数のデータセットおよびアーキテクチャにおいて一貫した構成的汎化性能の向上が達成される。

ABSTRACT

Although neural sequence-to-sequence models have been successfully applied to semantic parsing, they fail at compositional generalization, i.e., they are unable to systematically generalize to unseen compositions of seen components. Motivated by traditional semantic parsing where compositionality is explicitly accounted for by symbolic grammars, we propose a new decoding framework that preserves the expressivity and generality of sequence-to-sequence models while featuring lexicon-style alignments and disentangled information processing. Specifically, we decompose decoding into two phases where an input utterance is first tagged with semantic symbols representing the meaning of individual words, and then a sequence-to-sequence model is used to predict the final meaning representation conditioning on the utterance and the predicted tag sequence. Experimental results on three semantic parsing datasets show that the proposed approach consistently improves compositional generalization across model architectures, domains, and semantic formalisms.

研究の動機と目的

• ニューラルシーケンス・トゥ・シーケンスモデルが、既に学習済みの要素の未学習な組み合わせに一般化できないという問題に取り組むこと。
• 従来の意味解析器（例：明示的なアライメントと分離処理を備える）が持つ記号的構成性の利点をニューラルシーケンス・トゥ・シーケンスモデルに統合すること。
• ニューラルモデルの表現力は保ちつつ、テスト例における構造的・意味的変化に対してより頑健な推論を可能にするデコードフレームワークを設計すること。
• クエリベースの分割を用いて、多様なデータセット、意味形式（SQL、λ計算）およびモデルアーキテクチャの下で、アプローチの有効性を評価すること。

提案手法

• 意味解析を二段階に分解する：まず、ニューラルタガーモデルが入力発話の各単語またはスパンに意味的記号（例：述語やカラム）を割り当てる。
• タガーモデルは、各トークンごとに意味的記号を独立に予測するため、グローバルな文脈を用い、条件付き独立性を強制し、言語的表現と意味的コンポONENT間の語彙的アライメントを可能にする。
• 次に、シーケンス・トゥ・シーケンスモデルが、元の発話と予測された意味的タグ列の両方に条件付けられて、最終的な意味表現を生成する。
• タガーモデルは出力空間にソフト制約を課し、注目メカニズムによる干渉を低減し、個々の意味的コンポONENTの予測精度を向上させる。
• このフレームワークはモジュラーであり、任意のシーケンス・トゥ・シーケンスモデルおよび意味形式と互換性を持つ。
• 構成的汎化性能を明確に評価できるよう、クエリベースの分割を用いてアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 意味的タグ付けモジュールは、意味的コンポONENTの予測を逐次生成から分離することで、シーケンス・トゥ・シーケンス意味解析器の構成的汎化性能を向上させることができるか？
• RQ2 データ拡張や注目メカニズムの監視といった既存手法と比較して、意味的タグ付けは未学習の構成的構造をどのように処理するか？
• RQ3 意味的タグ付けによる性能向上は、言語的表現と意味的記号の間の明示的アライメントが存在する場合にどの程度依存するか？
• RQ4 この手法は、異なる意味形式（例：SQL 対 λ計算）およびモデルアーキテクチャ間で汎化可能か？
• RQ5 意味的タグ付けによって最も減少する予測誤りの種類は何か？また、新たな誤りパターンを導入するか？

主な発見

• 提案された意味的タグ付けフレームワークは、クエリベースの分割を用いた3つの意味解析データセット（GeoQuery、WikiSQL、ATIS）において、一貫して構成的汎化性能を向上させた。
• WikiSQLでは、粗くから細かく（coarse2fine）モデルの正確一致精度が4.3%絶対値上昇し、実行精度も同程度向上した。主にWHERE句の予測精度向上に起因した。
• LSTM +STモデル（意味的タグ付けあり）は、データ拡張に基づくGECAより構成的汎化性能で優れており、タグ付けによって導入されたインダクティブバイアスの有効性を示した。
• 意味的タグ付けは、特に複雑またはレアな構造において、誤った意味的記号を予測する誤りを顕著に低減したが、部分的または誤ったクエリ生成に関する誤りはわずかに増加した。
• GeoQueryではλ計算を用いて意味的記号の予測精度が86.2%に達したが、最終的なクエリ精度は52.1%にとどまり、記号レベルの向上が必ずしも最終出力に完全に反映されないことが示唆された。
• ATISのようなブリッジカラムを含むSQLクエリでは、意味的記号に対応する言語的表現がないため、この手法は効果が限定的であり、アライメントに配慮した記号選択の必要性が浮き彫りになった。