[論文レビュー] Inferring Logical Forms From Denotations

Panupong Pasupat, Percy Liang|arXiv (Cornell University)|Jun 22, 2016

Natural Language Processing Techniques参考文献 25被引用数 13

ひとこと要約

本稿では、与えられた質問と帰納値に対して一貫した論理形式を効率的に列挙するための、帰納値における動的計画法（DPD）を提案する。これにより、WikiTableQuestionsにおけるカバレッジが53.5%から76%に著しく向上した。誤った形式（偶然正しい答えを返すが、元の質問の真正の意味を反映しないもの）を除外するため、架空の世界で作成された合成データに対してクラウドソーシングによる帰納値を用い、誤った形式を92.1%削減したが、意味的正しさは維持された。

ABSTRACT

A core problem in learning semantic parsers from denotations is picking out consistent logical forms--those that yield the correct denotation--from a combinatorially large space. To control the search space, previous work relied on restricted set of rules, which limits expressivity. In this paper, we consider a much more expressive class of logical forms, and show how to use dynamic programming to efficiently represent the complete set of consistent logical forms. Expressivity also introduces many more spurious logical forms which are consistent with the correct denotation but do not represent the meaning of the utterance. To address this, we generate fictitious worlds and use crowdsourced denotations on these worlds to filter out spurious logical forms. On the WikiTableQuestions dataset, we increase the coverage of answerable questions from 53.5% to 76%, and the additional crowdsourced supervision lets us rule out 92.1% of spurious logical forms.

研究の動機と目的

• 帰納値から意味解析器を学習する際、大規模で表現力のある探索空間において、一貫した論理形式をすべて列挙する課題に対処すること。
• 先行研究で制限されたルールセットやビームサーチの限界を克服し、表現力を制限しないこと。
• 偶然正しい帰納値を返すが、元の質問の真正の意味を反映しない誤った論理形式を除外すること。
• 合成データと架空の世界における人間による帰納値を用いることで、意味解析器の一般化および耐障害性を向上させること。
• 正確な探索と合成データにおけるアクティブラーニングを組み合わせることで、意味解析のカバレッジと精度を向上させること。

提案手法

• 帰納値における動的計画法（DPD）を用い、正しい帰納値を生成するすべての論理形式を体系的に列挙することで、上限サイズまで完全性を保証する。
• 表現力に優れた一般化された推論ルールのセットを定義し、先行研究の制限的ルールセットによる表現力の制限を回避する。
• 元の知識源（例：Wikipediaの表）を摂動させることで、仮想的な「架空の世界」を生成し、論理形式の耐障害性をテストする。
• これらの架空の世界のサブセットに対してクラウドソーシングによる帰納値を収集し、意味的に正しい論理形式を特定する。
• 情報量の多い架空の世界を効率的に選択するアクティブラーニング戦略を採用し、情報の獲得を最大化するとともに、アノテーションコストを低減する。
• 複数の合成世界における人間によるアノテーションと一致しない論理形式を除外することで、誤った形式をフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 制限的なルールセットに依存せずに、与えられた質問と帰納値に対して一貫した論理形式をすべて効率的に列挙できるか？
• RQ2 偶然正しい帰納値を返す誤った論理形式の数をどのように減らせるか？
• RQ3 合成世界と人間による帰納値を用いることで、意味的に誤りだが帰納値が正しい論理形式のフィルタリングをどの程度改善できるか？
• RQ4 帰納値における動的計画法を用いることで、ビームサーチやルールベース手法と比較して、回答可能な質問のカバレッジが著しく向上するか？
• RQ5 合成世界におけるアクティブラーニングにより、アノテーションコストを低減しつつ、誤った形式のフィルタリング精度を維持できるか？

主な発見

• DPD手法により、WikiTableQuestionsにおける回答可能な質問のカバレッジが53.5%から76%に向上し、先行のビームサーチ手法と比較して顕著な改善が示された。
• 合成世界におけるクラウドソーシングによる帰納値の活用により、92.1%の誤った論理形式が成功裏に削除され、意味的正確性が著しく向上した。
• アクティブラーニングを用いて情報量の多い架空の世界を選択した場合、同値クラスの51.3%が正しく特定されたが、ランダム選択では22.6%にとどまった。
• アノテーション誤りが存在しても、アノテーションとの不一致が1つまで許容される条件下では、91%のケースで正しい同値クラスが保持された。
• 正しい同値クラスの平均サイズは約3,000であり、意味的に同等の論理形式における文法的多様性の高さが示された。
• 一貫性要件を緩和し、アノテーションとの不一致を1つまで許容することで、正しい論理形式が除外されるリスクを3%にまで低減できた。