[論文レビュー] Implicit Negative Feedback in Clinical Information Retrieval

Lorenz Kuhn, Carsten Eickhoff|arXiv (Cornell University)|Jul 12, 2016

Topic Modeling参考文献 10被引用数 4

ひとこと要約

本稿では、臨床検索クエリ内の否定語から得られる暗黙の否定フィードバックを、否定タギングとスコア結合を用いて活用することで、リtrieval性能を向上させることを提案している。否定語を単に削除するのではなく、負の関連性シグナルとして扱うことで、TREC CDSトラックデータにおいて、初期精度への悪影響を最大65%まで低減できる。

ABSTRACT

In this paper, we reflect on ways to improve the quality of bio-medical information retrieval by drawing implicit negative feedback from negated information in noisy natural language search queries. We begin by studying the extent to which negations occur in clinical texts and quantify their detrimental effect on retrieval performance. Subsequently, we present a number of query reformulation and ranking approaches that remedy these shortcomings by resolving natural language negations. Our experimental results are based on data collected in the course of the TREC Clinical Decision Support Track and show consistent improvements compared to state-of-the-art methods. Using our novel algorithms, we are able to reduce the negative impact of negations on early precision by up to 65%.

研究の動機と目的

• 臨床検索クエリにおける否定語の影響がリtrieval性能に与える悪影響を是正すること。
• 否定語を単に削除するのではなく、負のフィードバックとして扱うことで、リtrieval品質が向上するかどうかを調査すること。
• 否定を認識する表現を組み込んだ新しいクエリ適応型リtrievalモデルを評価すること。
• 臨床意思決定支援環境における、否定を含むクエリと含まないクエリの間の性能ギャップを定量化すること。
• 否定タギングとスコア結合が、否定の悪影響を緩和する有効性を実証すること。

提案手法

• BioScopeコーパスで訓練された条件付きランダムフィールドモデルを用いて、臨床ケースナラティブ内の否定語を特定する否定検出を実施する。
• 否定タギングを用いて、クエリ内の否定語を負の関連性シグナルとして表現し、削除を回避する。
• スコア結合アプローチを実装し、正のおよび負のクエリ表現を別々に維持し、学習された重みパラメータβを用いてスコアを結合する。
• P@10、nDCG、infAP、RPrecといった標準的指標を用いて、TREC 2014および2015年臨床意思決定支援トラックデータ上でリtrievalモデルを訓練および評価する。
• 否定を含むおよび含まないクエリにおいて、ベースラインリtrieval、否定フィルタリング、スコア結合、否定タギングを比較する。
• 非適応的βを用いて否定タギングを実施し、高頻度の否定を含むクエリにおいては適応的βを探索することで、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 否定語が含まれる臨床クエリと含まれないクエリとを比較した場合、リtrieval性能にどのような影響を与えるか？
• RQ2 否定語を負のフィードバックとして扱うことで、単に削除するのと比較して、リtrieval性能がより効果的に向上するか？
• RQ3 否定フィルタリング、スコア結合、否定タギングのうち、どのリtrieval手法が異なるクエリタイプにおいて一貫した改善をもたらすか？
• RQ4 否定認識モデルは、否定を含むクエリと含まないクエリの間の性能ギャップをどの程度縮められるか？
• RQ5 スコア結合におけるβの選択が性能に与える影響は何か？また、適応的β選択によりさらなる性能向上が達成可能か？

主な発見

• 否定語を含むクエリ（D−）は、否定語を含まないクエリ（D+）と比較して顕著に性能が劣り、P@10は10.8%低下し、nDCGは21.3%低下した。
• 否定タギングとスコア結合により、D−とD+間のP@10における性能ギャップが65.4%低減され、D−のP@10は7.1ポイント向上した。
• 否定情報が最も多かったTopic 1において、スコア結合はベースライン比でP@10に300%の相対的改善を達成した。
• 否定タギングは、すべての指標でベースラインおよびフィルタリング手法を上回り、否定の悪影響を効果的に緩和しながら性能を維持した。
• 最適なβパラメータを用いたスコア結合は、高頻度の否定を含むクエリにおいて最も高い向上を示したが、βの符号とクエリ特徴との間に明確な相関は見出せなかった。
• 結果から、否定語を単に削除するのではなく、負のフィードバックとして扱うことで、特に複雑な臨床クエリにおける初期精度の向上がより効果的であることが示された。