[論文レビュー] Multi-Module System for Open Domain Chinese Question Answering over Knowledge Base

Yiying Yang, Xiahui He+2 more|arXiv (Cornell University)|Oct 28, 2019

Topic Modeling参考文献 7被引用数 8

ひとこと要約

この論文は、情報検索と意味解析を組み合わせてトピックエンティティと関係を抽出し、SPARQLクエリを生成する、オープンドメイン中国語知識ベース質問応答のためのマルチモジュールシステムを提示する。エンティティスコアリング、BERTベースの関係ランク付け、ルールベースのSPARQL生成を統合することで、CCKS2019テストセットで70.45%のF1スコアを達成した。

ABSTRACT

For the task of open domain Knowledge Based Question Answering in CCKS2019, we propose a method combining information retrieval and semantic parsing. This multi-module system extracts the topic entity and the most related relation predicate from a question and transforms it into a Sparql query statement. Our method obtained the F1 score of 70.45% on the test data.

研究の動機と目的

• 限られた学習データと複雑な文語構造を有するオープンドメイン中国語知識ベース質問応答を扱う。
• 中国語のマルチホップ質問におけるエンティティおよび関係抽出の精度を向上させる。
• リソースが限られた環境での堅牢なKBQAを実現するために、検索ベースと意味解析ベースの手法を統合する。
• 性別、時間制限付きのクエリを含む複雑な質問タイプに対応できる、ルールに配慮したSPARQL生成パイプラインを開発する。

提案手法

• トピックエンティティ認識モジュールは、BaiduおよびPaddlePaddleのハイブリッドNERモデルを用い、金融関連および非標準エンティティタイプを追加して拡張した。
• 5つの基準（長さ、KB内での出次数、疑問語との近接度、文字オーバーラップ、質問との語オーバーラップ）を用いて、候補エンティティをスコアリングするメカニズムを採用した。
• トピックエンティティの2ホップサブグラフにおける関係をランク付けするためのBERTベースの類似度モデルを採用し、クラス不均衡を解消するためのオーバーサンプリングを実施した。
• 1ホップまたは2ホップの質問を区別するシンプル・コンプレックス分類器を用いて、SPARQLクエリ構造のガイドラインを提供した。
• 性別、日時フォーマット、2ホップの回答選択に関する制約を統合したルールベースのSPARQL生成により、正しい変数バインディングを保証した。
• 訓練中にエンティティを<e>トークンに置き換えることで、データバイアスを低減し、一般化性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 曖昧または複数のエンティティを含むオープンドメイン中国語質問において、どのようにしてトピックエンティティを効果的に特定できるか？
• RQ2 2ホップサブグラフにおける関係ランク付けの最適な方法は何か？正確なSPARQLクエリ生成に寄与する。
• RQ3 リソースが限られた環境でのKBQAパフォーマンスを向上させるために、検索ベースと意味解析ベースの手法をどのように統合できるか？
• RQ4 2ホップや時間制限付きのクエリのような複雑な質問タイプに対し、SPARQLクエリの正しさを向上させるルールベースの戦略は何か？

主な発見

• エンティティスコアリング機構に出次数と類似度スコアを組み込むことで、トピックエンティティ認識の精度が、ベースラインの90.3%から95.6%に向上した。
• BERTベースの関係スコアリングモデルは、RNNおよびCNNベースラインを著しく上回り、95.7%の精度を達成した。
• オブジェクト類似度とSPARQLルールを追加することで、最終的な回答選択の開発セット精度が68%から75%に向上した。
• 最終的なシステムは、CCKS2019テストセットで70.45%のF1スコアを達成し、オープンドメイン中国語KBQAにおいて優れたパフォーマンスを示した。
• シンプル・コンプレックス分類器は91%の精度を達成し、クエリを1ホップまたは2ホップのSPARQLテンプレートに効果的にルーティングできた。