[論文レビュー] Boosting Question Answering by Deep Entity Recognition

Piotr Przybyła|arXiv (Cornell University)|May 27, 2016

Topic Modeling被引用数 4

ひとこと要約

本稿では、語彙的に豊富でリソースが限られる言語としてのポーランド語向けに、Deep Entity Recognition (DeepER) を導入することで回答の正確性を向上させるポーランド語オープンドメインfactoid質問応答システムRAFAELを提示する。DeepERは、名前付きエンティティ認識（NER）を従来のカテゴリ（人物、場所、組織など）に限定するのではなく、WordNetのシングレットにエンティティをリンクすることで、一般化された認識手法を提供する。これにより、『アーティック・トゥルン』のような鳥や『ツァール』のような抽象的カテゴリーなど、従来のNERではカバーされないエンティティの認識が可能となり、手動評価によるクイズ番組の質問で確認されたように、再現率は向上するが、正確率は損なわれない。

ABSTRACT

In this paper an open-domain factoid question answering system for Polish, RAFAEL, is presented. The system goes beyond finding an answering sentence; it also extracts a single string, corresponding to the required entity. Herein the focus is placed on different approaches to entity recognition, essential for retrieving information matching question constraints. Apart from traditional approach, including named entity recognition (NER) solutions, a novel technique, called Deep Entity Recognition (DeepER), is introduced and implemented. It allows a comprehensive search of all forms of entity references matching a given WordNet synset (e.g. an impressionist), based on a previously assembled entity library. It has been created by analysing the first sentences of encyclopaedia entries and disambiguation and redirect pages. DeepER also provides automatic evaluation, which makes possible numerous experiments, including over a thousand questions from a quiz TV show answered on the grounds of Polish Wikipedia. The final results of a manual evaluation on a separate question set show that the strength of DeepER approach lies in its ability to answer questions that demand answers beyond the traditional categories of named entities.

研究の動機と目的

• 語彙的に豊富でリソースが限られる言語（例：ポーランド語）におけるfactoid質問応答システムの再現率の低さという課題に対処すること。
• 人物、場所、組織といった事前に定義されたカテゴリに制限される従来の名前付きエンティティ認識（NER）の限界を克服すること。
• 固定されたタイプ体系ではなく、意味的カテゴリー（WordNetのシングレット）に基づいてエンティティを認識する手法を開発し、『アーティック・トゥルン』や『ツァール』といった、標準的なNERでは捉えられないエンティティ（例：動物、抽象的カテゴリー）の検出を可能にすること。
• 予測された回答と正解の両方に同じエンティティ認識プロセスを適用することで、候補となる回答の自動評価を可能にし、文字列マッチングに依存する手動評価の必要性を減らすこと。
• エキサイクロペディックな定義、意味のあいまいさの解消、リダイレクトページを活用して包括的なエンティティライブラリを構築することで、システムの耐障害性とカバレッジを向上させること。

提案手法

• ポーランド語Wikipediaの定義、意味のあいまいさ、リダイレクトページを解析してエンティティライブラリを構築し、各エンティティをそのWordNetシングレットにリンクする。
• DeepERを実装し、テキスト内のエンティティ表記を対応するWordNetシングレットにマッチングさせることで、文脈的カテゴリーに基づいたエンティティ認識を可能にする。
• DeepERと従来のNERツール（NERF、Liner2、Quant）を組み合わせたマルチステージのエンティティ認識パイプラインを採用し、多様なエンティティタイプをカバーする。
• 数字や数量を特定するため、桁、小数、基数の表記パターンを用いたグリーディパターンマッチングを適用する。
• 予測された回答と正解の両方にDeepERを再適用し、元の文字列ではなく、対応するシングレットを比較することで、候補回答の自動評価を実現する。
• ポーランド語のクイズ番組から得た質問を用いて広範な実験を実施し、文脈長やドキュメント検索サイズなどのパラメータを調整した後、最終的な手動評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 意味的ベースのエンティティ認識アプローチ（DeepER）は、リソースが限られる言語において、従来のNERを上回る再現率を達成できるか？
• RQ2 DeepERは、『動物』や『抽象的カテゴリー』といった非伝統的な名前付きエンティティタイプを必要とする質問に対するシステムの対応能力をどの程度向上させるか？
• RQ3 DeepERによる自動評価は、手動作業を著しく削減しつつも、信頼性の高い回答比較の正確性を維持できるか？
• RQ4 DeepERの統合により、RAFAELのような実世界のオープンドメインQAシステムにおいて、正確率と再現率に顕著な向上が見られるか？
• RQ5 別々の、以前に使用されていなかったテストセットにおいて、システムはどの程度の性能を示すか？また、質問固有のチューニングが行われない状態でも高い正確率を維持できるか？

主な発見

• DeepERは、従来のNERに比べ、特に『アーティック・トゥルン』や『Simeon II』のような、標準的な名前付きエンティティカテゴリに属さないエンティティ（例：動物、君主）に対して、回答可能な質問数を顕著に増加させる。
• システムはNERベースのアプローチと同等の正確率を達成しており、認識範囲を広げても回答品質が低下しないことが示された。
• DeepERによる自動評価により、数千件の質問に対する迅速でスケーラブルなテストが可能となり、手動評価に要する時間と労力を大幅に削減できた。
• 別個のテストセットにおける手動評価により、DeepERベースのシステムがNERベースのシステムよりもより多くの質問を正しく回答することが確認された。特に、意味的または分類的関係を含む質問に対して顕著な向上が見られた。
• Wikipediaの定義とリダイレクトを活用して構築したエンティティライブラリは、変形が複雑なポーランド語におけるエンティティの多様な表記形を効果的に捉えており、堅牢な表記検出を可能にした。
• WordNetに基づく意味的タイプ指定の統合により、『ツァール』が『君主』を意味することを推論でき、NERで明示的に『人物』としてラベル付けされていなくても、歴史的人物に関する質問に対して正しく回答できるようになった。