[論文レビュー] Answer Extraction for Why Arabic Questions Answering Systems: EWAQ

Fatima T. AL-Khawaldeh|arXiv (Cornell University)|Jul 4, 2019

Topic Modeling参考文献 4被引用数 15

ひとこと要約

本稿では、検索エンジンが取得したドキュメントをテキスト的含意メトリクスを用いて再順序付けし、最も妥当な答えを抽出する、'なぜ'に関する質問に特化したアラビア語質問応答システムEWAQを提案する。このシステムは、含意に基づく類似度スコアを活用することで、ベースライン検索エンジンよりも高い正確性を達成しており、説明的アラビア語クエリにおける答え抽出を顕著に向上させることを示している。

ABSTRACT

With the increasing amount of web information, questions answering systems becomes very important to allow users to access to direct answers for their requests. This paper presents an Arabic Questions Answering Systems based on entailment metrics. The type of questions which this paper focuses on is why questions. There are many reasons lead us to develop this system: generally, the lack of Arabic Questions Answering Systems and scarcity Arabic Questions Answering Systems which focus on why questions. The goal of the proposed system in this research is to extract answers from re-ranked retrieved passages which are retrieved by search engines. This system extracts the answer only to why questions. This system is called by EWAQ: Entailment based Why Arabic Questions Answering. Each answer is scored with entailment metrics and ranked according to their scores in order to determine the most possible correct answer. EWAQ is compared with search engines: yahoo, google and ask.com, the well-established web-based Questions Answering systems, using manual test set. In EWAQ experiments, it is showed that the accuracy is increased by implementing the textual entailment in re-raking the retrieved relevant passages by search engines and deciding the correct answer. The obtained results show that using entailment based similarity can help significantly to tackle the why Answer Extraction module in Arabic language.

研究の動機と目的

• アラビア語質問応答システム、特に'なぜ'に関する質問に対する不足を補うこと。
• テキスト的含意を活用することで、説明的アラビア語クエリにおける答え抽出の正確性を向上させること。
• 含意メトリクスを用いて、再順序付けされたドキュメントからの候補答えをスコア化・順序付けするシステムを開発すること。
• 含意ベースの再順序付けが、アラビア語の'なぜ'に関する質問における答え選択をどのように向上させるかを評価すること。

提案手法

• 標準的な検索エンジン（Google、Yahoo、およびカスタムURLベースのエンジン）を用いてドキュメントを取得する。
• 候補となる答えと元の'なぜ'質問との間の意味的関係を評価するために、テキスト的含意メトリクスを適用する。
• 質問と候補答えとの間の含意度に基づいて、答えをスコア化する。これは、答えが質問を論理的にどの程度説明できるかを示している。
• これらの含意スコアに基づいてドキュメントを再順序付けし、最も関連性の高い答えを優先する。
• 再順序付けされたリストの中でスコアが最も高い答えを最終出力として選択する。
• 手動で作成されたテストセットを用いて、ベースライン検索エンジンと比較してシステムの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 テキスト的含意メトリクスは、アラビア語の'なぜ'に関する質問における答え抽出を効果的に改善できるか？
• RQ2 検索結果のドキュメントを含意ベースで再順序付けすることで、標準的な検索エンジンと比較して答え選択の正確性がどの程度向上するか？
• RQ3 EWAQは、一般向け検索エンジンと比較して、説明的アラビア語クエリに対する答えの質問にどの程度優れているか？
• RQ4 含意ベースの類似度は、アラビア語質問応答システムにおける正解の特定に実用的で効果的な手法であるか？

主な発見

• ドキュメントの再順序付けにテキスト的含意を用いることで、ベースライン検索エンジンと比較して、答え抽出の正確性が顕著に向上した。
• EWAQは、質問と候補答えとの間の意味的含意を活用することで、'なぜ'に関する質問において正解の答えを特定する精度を高めた。
• キーワードマッチングではなく論理的説明に焦点を当てることで、システムは答え選択において測定可能な改善を達成した。
• 結果から、含意ベースの類似度が、アラビア語の説明的質問に対する答え抽出モジュールにおいて有効であることが確認された。