[論文レビュー] Learning Structured Natural Language Representations for Semantic Parsing

Jianpeng Cheng, Siva Reddy+2 more|arXiv (Cornell University)|Apr 27, 2017

Natural Language Processing Techniques参考文献 41被引用数 16

ひとこと要約

この論文では、自然言語発話から構造的述語・目的語表現を遷移ベースのシステムを介して学習し、微分可能でエンド・ツー・エンドな方法でグラウンド化された意味表現にマッピングするニューラル意味解析器を提案する。モデルはSpadesおよびGraphQuestionsで最先端の性能を達成するとともに、言語的規範を越えた有用な意味表現の洞察を示す解釈可能でデータ駆動の述語を生成する。

ABSTRACT

We introduce a neural semantic parser that converts natural language utterances to intermediate representations in the form of predicate-argument structures, which are induced with a transition system and subsequently mapped to target domains. The semantic parser is trained end-to-end using annotated logical forms or their denotations. We obtain competitive results on various datasets. The induced predicate-argument structures shed light on the types of representations useful for semantic parsing and how these are different from linguistically motivated ones.

研究の動機と目的

• より良い解釈可能性と一般化を実現するため、パーサーと語彙誘導を統合的に学習するニューラル意味解析器の開発。
• エンド・ツー・エンドのニューラル意味解析器における解釈可能性の欠如を是正するため、中間の述語・目的語構造を導入する。
• 広範な特徴工学を回避するため、自然言語発話と論理形式または意味的表記のペairのみを用いたエンド・ツー・エンドの学習を可能にする。
• データ駆動の述語・目的語構造が、言語的規範から逸脱しても意味的・有用であるかどうかを検証する。

提案手法

• 遷移ベースのパーサーは、外部の句構造解析器や手作業で作成された文法に依存せずに、発話から再帰的かつ整合性のある意味表現を生成する述語・目的語構造を誘導する。
• パーサーはニューラルネットワークを用いて、移動（shift）、左アーキ（left-arc）、右アーキ（right-arc）などの遷移アクションを予測し、述語と目的語の間の依存構造を構築する。
• 未グラウンド化された述語・目的語構造は、未グラウンド形式とグラウンド形式の間の構造的同型性仮定の下で、ニューラルマッピングモデルを介してグラウンド化された表現に変換される。
• パーサーとグラウンド化の両方を、注釈済み論理形式または意味的表記からの教師あり学習によってエンド・ツー・エンドに最適化する。
• 複雑な構造に対する特徴分解を回避するため、遷移システムを通じて豊富で非局所的な特徴を活用する。
• 一時的構造的不一致（例：1対多、多対1のマッピング）に対処するため、準マルコフ仮定が用いられる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、意味解析性能の向上に寄与する解釈可能なデータ駆動の述語・目的語構造を学習できるか？
• RQ2 言語的動機付けの構造と比較して、誘導された述語・目的語構造は解釈可能性と有用性においてどのように異なるか？
• RQ3 未グラウンド形式とグラウンド形式の間の構造的同型性仮定は、学習の有効性にどのような制約や可能性を与えるか？
• RQ4 再利用可能な中間表現を通じて、モデルはドメインを越えて一般化でき、未知語を処理できるか？
• RQ5 モデルの予測と誘導された述語は、制御構文や補助節などの複雑な構文的構造において、言語的直感とどの程度整合するか？

主な発見

• モデルはSpadesおよびGraphQuestionsのデータセットで最先端の性能を達成し、正確一致スコアとF1スコアの両方で先行手法を上回った。
• GeoQueryおよびWebQuestionsでは、多様なドメインにわたる強力な一般化を示す競争力のある結果を達成した。
• 誘導された述語・目的語構造は解釈可能で意味的であり、並列構造および前置詞句構造において人間のアノテーション構造と高い一致スコアを示した。
• 「son（息子）」「daughter（娘）」「founded（設立された）」などの情報量の多い述語が特定され、たとえば時間的文脈では「started（開始された）」よりも「son」を選択するなど、言語的直感とは一致しない場合もあった。
• 制御構文や上昇構文の述語では困難を示し、局所的手がかりに依存するため、しばしば誤分類され、クローズ形式の質問では、空欄に最も近い語に過剰に依存する傾向があった。
• 評価により、モデルが誘導した述語は予測の合理化に有用であり、モデルが推論に重要なと考える意味的要素を特定する手がかりを提供することがわかった。