[論文レビュー] Unsupervised Dual Paraphrasing for Two-stage Semantic Parsing

Ruisheng Cao, Su Zhu+6 more|arXiv (Cornell University)|May 27, 2020

Topic Modeling参考文献 42被引用数 4

ひとこと要約

本稿では、人間によるアノテーションを一切用いずに自然言語発話から標準形に変換する二段階の教師なし意味解析フレームワークを提案する。自己符号化器によるノイズ除去、逆翻訳、二重強化学習をサイクル学習プロセスに統合することで、人的に高価なアノテーションデータに依存を著しく低減しながらも、完全な教師あり設定下でも最先端の性能（Overnightで80.1%、GeoGrannoで74.5%）を達成する。

ABSTRACT

One daunting problem for semantic parsing is the scarcity of annotation. Aiming to reduce nontrivial human labor, we propose a two-stage semantic parsing framework, where the first stage utilizes an unsupervised paraphrase model to convert an unlabeled natural language utterance into the canonical utterance. The downstream naive semantic parser accepts the intermediate output and returns the target logical form. Furthermore, the entire training process is split into two phases: pre-training and cycle learning. Three tailored self-supervised tasks are introduced throughout training to activate the unsupervised paraphrase model. Experimental results on benchmarks Overnight and GeoGranno demonstrate that our framework is effective and compatible with supervised training.

研究の動機と目的

• 標準的発話（canonical utterances）を中間表現として用いることで、意味解析における人的アノテーション負荷を軽減すること。
• 並列データが存在しない状況下で、自然言語を標準形にマッピングする教師なしパラフレーズモデルを開発すること。
• 自己教師あり事前学習とサイクル学習を用いて意味解析の性能を向上させ、大規模なラベル付きデータに依存しないこと。
• 従来の教師あり学習と併用可能であることを示し、教師なしおよび半教師あり設定下でも優れた性能を維持すること。

提案手法

• フレームワークは共有エンコーダと二つのデコーダ（自然言語用と標準形用）を備え、二重構造パラフレーズモデルを形成する。
• 事前学習段階では、並列データなしでモデルを初期化するために、三つの自己教師ありタスク（ノイズ除去自己符号化、逆翻訳、二重強化学習）を適用する。
• ノイズ除去自己符号化タスクは、入力文を汚染させ、元の文を再構築するようにモデルを学習させることで、耐障害性と意味理解能力を向上させる。
• 逆翻訳は、自然言語から標準形に翻訳し、再び元の言語に翻訳することで、発話タイプ間の整合性を高める合成パラフレーズを生成する。
• 二重強化学習では、二つのモデルが交互に相手を環境として用い、報酬信号と偽のサンプルを提供することで、反復的かつ改善を図る。
• 最終的なパイプラインでは、教師なしパラフレーズモデルと、自動的に生成された（標準形発話, 論理形式）ペアで学習された教師ありニューラル意味解析器を接続する。

実験結果

リサーチクエスチョン

• RQ1 並列データが存在しない状況下で、教師なしパラフレーズモデルが自然言語発話を標準形に効果的に変換できるか？
• RQ2 自己教師あり事前学習とサイクル学習は、意味解析における中間的標準形発話の質をどのように向上させるか？
• RQ3 この二段階フレームワークは、人的アノテーションデータへの依存度をどの程度低減できるか、かつ性能を維持または向上させられるか？
• RQ4 このフレームワークは従来の教師あり学習と併用可能であり、最先端の性能を達成できるか？

主な発見

• 提案された教師なしフレームワークは、Wangら（2015）の教師ありベースライン（58.8%）を上回り、Overnightデータセットで60.7%の性能を達成した。
• 完全なラベル付きデータを用いた場合、Overnightベンチマークで80.1%という新たな最先端性能を達成した。
• GeoGrannoベンチマークでは74.5%の正確度に到達し、追加のデータソースを一切使用しない状態で新たなSOTA結果を樹立した。
• 事例研究では、モデルが「3以上」を「少なくとも3」と正しくパラフレーズ化するような微細な意味的整合性を学習していることが示された。また、ベースラインシステムの誤りを是正する能力も確認された。
• 曖昧または複雑な制約（例：GeoGrannoにおける「borders _state_」）の処理においても、モデルは良好な耐性を示し、ベースラインが見逃していた要因を正しく保持した。
• 二重強化学習部では、スタイルと関連性の報酬が文の流暢さの報酬よりも情報量が多く、より優れたパラフレーズ生成を促進していることが示された。