[論文レビュー] Neural Machine Translation for Query Construction and Composition

Tommaso Soru, Edgard Marx+4 more|arXiv (Cornell University)|Jun 27, 2018

Natural Language Processing Techniques参考文献 19被引用数 18

ひとこと要約

本稿では、知識ベース質問応答における意味解析のためのニューラル機械翻訳アプローチを提案する。テンプレートベースで弱い教師あり学習を用いて、自然言語の質問をSPARQLクエリにマッピングするシーケンス・ツー・シーケンスモデルを採用している。最適化されたSPARQLエンコーディングとエンティティ認識のカリキュラム学習を用いることで、DBpedia映画サブセットにおいて99.29%のBLEUスコアと94.82%の精度を達成した。

ABSTRACT

Research on question answering with knowledge base has recently seen an increasing use of deep architectures. In this extended abstract, we study the application of the neural machine translation paradigm for question parsing. We employ a sequence-to-sequence model to learn graph patterns in the SPARQL graph query language and their compositions. Instead of inducing the programs through question-answer pairs, we expect a semi-supervised approach, where alignments between questions and queries are built through templates. We argue that the coverage of language utterances can be expanded using late notable works in natural language generation.

研究の動機と目的

• 知識ベース質問応答における自然言語の質問を実行可能なSPARQLクエリにマッピングする課題に対処する。
• 質問-回答ペairの高コストな監視を減らすために、テンプレートに整合した質問-クエリペアを用いる。
• 自然言語生成技術を用いた弱い教師あり拡張により、言語表現の一般化とカバレッジを向上させる。
• エンティティ名の曖昧さや未知語の問題から生じる誤りを、エンティティ頻度正則化と直接的なエンティティラベル付けによる訓練で軽減する。
• DBpediaベースのデータセット上で、異なるSPARQLシーケンスエンコーディングおよび訓練設定の有効性を評価する。

提案手法

• 双方向LSTMに基づくシーケンス・ツー・シーケンスモデルを用いて、自然言語の質問をSPARQLクエリのシーケンスにマッピングする。
• Neural Sparql Machineアーキテクチャを採用し、3つのモジュール（ジェネレータ：テンプレートから訓練データを生成、ラーナー：シーケンス・ツー・シーケンス翻訳、インタプリタ：ルールベースのヒューリスティクスを用いて最終クエリを再構築）を備える。
• プレースホルダ（例："$<$A$>$ はどこにありますか？"）を含む質問-クエリテンプレートを用いて訓練データを生成する。
• トークンの統合とシーケンスの短縮によりSPARQLエンコーディングを最適化し、モデルの性能と収束速度を向上させる。
• 段階的に複雑なグラフパターンやSPARQL演算子の組み合わせを導入するカリキュラム学習を適用する。
• 事前学習済み単語埋め込みと統合された知識グラフ埋め込みを用いて外部知識を統合し、語彙の不一致やエンティティの曖昧解消を処理する。

実験結果

リサーチクエスチョン

• RQ1 完全な監視なしで、ニューラル機械翻訳フレームワークが自然言語の質問をSPARQLクエリに効果的にマッピングできるか？
• RQ2 SPARQLシーケンスエンコーディングの選択が、意味解析におけるシーケンス・ツー・シーケンスモデルのパフォーマンスにどのように影響するか？
• RQ3 テンプレートベースで弱い教師あり学習を用いることで、KBQAにおける言語表現のカバレッジと一般化がどの程度向上するか？
• RQ4 エンティティレベルの正則化と直接的なエンティティラベル付けが、モデルの収束と精度にどのように影響するか？
• RQ5 複数のプレースホルダやネストされたSPARQL構造を含む複雑なクエリに対しても、モデルは一般化できるか？

主な発見

• 最も効果的なSPARQLエンコーディング（v4）は99.29%のBLEUスコアと93.69%の精度を達成し、以前のバージョンを大きく上回った。
• 訓練セットに直接的なエンティティ翻訳を追加することで、20,000エポックにわたる訓練曲線からも、収束速度とモデル安定性の向上が確認された。
• トークン統合によるSPARQLシーケンスの短縮は、BLEUスコアを1.5%向上させるとともに収束を早めた。これは、シーケンス表現の重要性を示している。
• v3およびv4エンコーディングは、それぞれ99.28%および99.29%のBLEUスコアを達成し、DBpediaの映画サブセットでほぼ最適なパフォーマンスを示した。
• エンティティ頻度正則化とラベルベースの監視を用いることで、未知語やエンティティ名の衝突に対してもモデルの頑健性が保証された。
• 質問-回答ペアの注釈にかかるコストを回避するため、テンプレートを用いた弱い監視を活用することで、ベースライン手法を上回った。