[論文レビュー] Can Taxonomy Help? Improving Semantic Question Matching using Question Taxonomy

Deepak Gupta, Rajkumar Pujari+5 more|arXiv (Cornell University)|Jan 20, 2021

Topic Modeling参考文献 33被引用数 11

ひとこと要約

本稿では、意味的質問マッチングのためのハイブリッド深層学習と分類体系ベースのフレームワークを提案する。2段階の質問分類体系（粗いクラスと細かいクラス）を用い、アテンションベースのニューラルエンコーダーと統合することで、意味的類似度検出を向上させる。深層学習からの分布的特徴と分類体系からの構造的知識を組み合わせることで、POQRベンチマークにおいて最先端の性能を達成し、先行研究より2.1%の向上を達成した。

ABSTRACT

In this paper, we propose a hybrid technique for semantic question matching. It uses our proposed two-layered taxonomy for English questions by augmenting state-of-the-art deep learning models with question classes obtained from a deep learning based question classifier. Experiments performed on three open-domain datasets demonstrate the effectiveness of our proposed approach. We achieve state-of-the-art results on partial ordering question ranking (POQR) benchmark dataset. Our empirical analysis shows that coupling standard distributional features (provided by the question encoder) with knowledge from taxonomy is more effective than either deep learning (DL) or taxonomy-based knowledge alone.

研究の動機と目的

• オープンドメインの質問応答において、語彙的類似度が真の意味的同等性を捉えきれないという課題に対処すること。
• 質問分類体系を介して構造的言語的知識を統合することで、低リソースまたは制限付きドメインの設定でも性能を向上させること。
• 深層学習表現と分類体系ベースの特徴を統合したハイブリッドモデルを構築し、より良い意味的類似度検出を実現すること。
• 意味的に類似する質問用と質問分類用の2つのアノテート済みデータセットを構築し、公開すること。
• 深層学習と分類体系特徴を組み合わせることで、単独で用いる場合よりも優れた性能が得られることを実証的に検証すること。

提案手法

• 著者らは、回答タイプと質問機能に基づき、同じ答えを持つ質問をグループ化する2段階の質問分類体系（粗いクラスと細かいクラス）を設計した。
• 各質問が適切な粗いクラスおよび細かいクラスに割り当てられるよう、深層学習ベースの質問分類器を訓練した。
• 従属構文解析器を用いて質問の焦点（例：尋ねられている核心的内容）を特定し、これを特徴として統合した。
• アテンションベースのニューラルエンコーダーからの質問埋め込みと、分類体系特徴（粗いクラス、細かいクラス、焦点）を統合し、意味的類似度スコアを計算した。
• 最終的な類似度スコアは、深層学習表現と分類体系特徴の重み付き組み合わせにより算出され、意味的に類似する質問の順序付けを向上させた。
• 本モデルは、POQR、Quora、および意味的類似度と分類用に新たに公開された2つのデータセットの3つのオープンドメインデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 2段階の質問分類体系は、単独の深層学習モデルが達成できる水準を越えて、意味的質問マッチングを向上させることができるか？
• RQ2 粗いクラス、細かいクラス、焦点といった分類体系特徴を深層学習表現と統合することで、意味的類似度検出がどの程度向上するか？
• RQ3 提案されたハイブリッドモデルは、POQRやQuoraといったベンチマークデータセットで最先端の手法を上回る性能を示すか？
• RQ4 分類体系特徴は、語彙的類似度は高いが意味的類似度は低いケース（例：'how' vs. 'what' の質問）に起因する誤りをどの程度緩和できるか？
• RQ5 アテンション機構と特徴のアブレーションが、異なるデータセットにおけるモデルの性能にどのように影響するか？

主な発見

• 提案モデルはPOQRベンチマークで最先端の性能を達成し、単純データセットでは先行研究より2.1%、複雑データセットでは1.46%の向上を達成した。
• 特徴のアブレーション研究により、粗いクラスおよび細かいクラスの両方が性能向上に顕著に寄与することが示された。特にQuoraデータセットでは、質問語の違い（例：'how' vs. 'what'）が重要であるため顕著であった。
• 分類体系特徴と深層学習表現の統合は、単独で用いる場合よりも優れた結果をもたらし、両者の相補的強みを示した。
• アテンション機構の可視化により、モデルが意味的に関連する語に注目していることが確認されたが、Quoraデータセットでは語彙的重複度が高く、意味的差が微細なため、その影響はやや弱かった。
• 誤り分析により、細かいクラスレベルでの誤分類と、意味的に異なるが語彙的に類似した質問の間で誤りが生じることが主な失敗モードであることが判明した。特に複文の質問や焦点が曖昧な質問では顕著であった。
• 分類体系特徴を含めた場合、多様なデータセットにおいて安定した性能を示し、統計的に有意な改善（p < 0.002）が得られた。