[論文レビュー] Query Expansion for Cross-Language Question Re-Ranking

Muhammad Mahbubur Rahman, Sorami Hisamoto+1 more|arXiv (Cornell University)|Apr 16, 2019

Expert finding and Q&A systems参考文献 25被引用数 4

ひとこと要約

本稿では、ワード埋め込み、DBpediaの概念リンク、および上位概念関係を用いたクエリ拡張（QE）手法を提案し、コミュニティ型質問応答プラットフォームにおける多言語間質問再ランク付けの性能向上を図る。機械翻訳されたクエリを外部知識源からの意味的に関連する語句で拡張することで、ベースラインおよび最先端の手法を著しく上回り、多言語クエリにおいてベースライン比で10.72のMAP向上を達成するとともに、先行SOTAを1.62 MAPポイント上回った。

ABSTRACT

Community question-answering (CQA) platforms have become very popular forums for asking and answering questions daily. While these forums are rich repositories of community knowledge, they present challenges for finding relevant answers and similar questions, due to the open-ended nature of informal discussions. Further, if the platform allows questions and answers in multiple languages, we are faced with the additional challenge of matching cross-lingual information. In this work, we focus on the cross-language question re-ranking shared task, which aims to find existing questions that may be written in different languages. Our contribution is an exploration of query expansion techniques for this problem. We investigate expansions based on Word Embeddings, DBpedia concepts linking, and Hypernym, and show that they outperform existing state-of-the-art methods.

研究の動機と目的

• 機械翻訳による誤りが検索性能を低下させる多言語間質問応答（CQA）プラットフォームにおける質問マッチングの課題に対処すること。
• 機械翻訳で失われた意味的信号をクエリ拡張（QE）技術によって回復できるかどうかを検証すること。
• ワード埋め込み、DBpediaの概念、上位概念関係といった多様な知識源が、多言語間質問再ランク付けの向上にどの程度有効であるかを評価すること。
• 既存のベースラインおよび最先端手法を上回る性能を発揮するクエリ拡張フレームワークの構築とベンチマーク化を目的とする。

提案手法

• 本手法はクエリ翻訳パイプラインを用いる：まずユーザーの質問を機械翻訳で英語に翻訳し、その後外部知識源を用いて翻訳済みクエリを拡張する。
• クエリ拡張は、ワード埋め込み（例：Word2Vec）を用いて意味的に類似する語句を検索し、DBpediaの概念にリンクし、WordNetから上位概念を特定することで実施する。
• 拡張クエリは、3つの拡張ソースからの語句の集合（ユニオン）に加え、元のクエリ語句を組み合わせて構成される。
• 拡張クエリを用いてElasticSearchインデックスから候補となる質問を検索し、関連性に基づいて順序付けを行う。
• 複数の構成が評価される：個別のQE手法、2つ以上の組み合わせ、およびすべてのシステムのアンサンブル。
• 性能評価は、SemEval-2016 CLIR拡張データセットを用い、単語言語および多言語設定の両方で平均平均精度（MAP）を用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 ワード埋め込み、DBpedia、上位概念関係を用いたクエリ拡張は、ベースライン手法と比較して多言語間質問再ランク付け性能を向上させることができるか？
• RQ2 複数のクエリ拡張技術を組み合わせることで、単一の手法を独立して用いる場合よりも優れた結果が得られるか？
• RQ3 多言語設定における翻訳誤りに対して、提案されたQE技術はどの程度頑健であるか？
• RQ4 知識ベースの拡張は、語彙的または分布的アプローチに比べて、多言語検索においてどの程度優れているか？

主な発見

• すべてのクエリ拡張手法とベースラインを統合した最良のシステムは、機械翻訳（MT）クエリにおいてベースライン比で10.72のMAP向上を達成した。
• MTテストセットにおいて、先行SOTA手法を1.62 MAPポイント上回ったことから、翻訳誤りに対する一般化性能が顕著に優れていることが示された。
• 個別のQE手法（ワード埋め込み、DBpedia、上位概念）は単独ではベースラインを下回ったことから、単一ソースの拡張では不十分であることが示された。
• ベースラインに任意の1つの拡張手法を組み合わせることで正の改善が得られ、特にワード埋め込みベースの拡張がMT設定で最大の貢献（+8.00 MAP）を示した。
• 英語クエリにおいて最良のシステムはベースラインを+10.57 MAP向上させ、MTクエリでは+10.72 MAP向上を達成し、単語言語および多言語設定の両方で一貫した有効性を示した。
• MTクエリにおけるベースライン性能が低い（英語と比較して-3.86 MAP）にもかかわらず、提案されたQEフレームワークは翻訳関連の性能低下を効果的に緩和し、最良のMTシステムでさえも先行SOTAを1.62 MAPポイント上回った。