[論文レビュー] Entity Set Search of Scientific Literature: An Unsupervised Ranking Approach

Jiaming Shen, Jinfeng Xiao+4 more|arXiv (Cornell University)|Apr 29, 2018

Topic Modeling参考文献 35被引用数 9

ひとこと要約

この論文では、生命科学およびコンピュータサイエンス分野の研究で一般的なエンティティ集合クエリにおけるエンティティ間関係およびエンティティタイプを、非教師あり枠組みとしてモデル化するSetRankを提案する。エンティティ集合クエリの関係を表現する異種クエリグラフとグラフカバーを用いて文書照合を実現する。TREC GenomicsおよびSemantic Scholarデータ上で評価した結果、SetRankは非教師ありベースラインを顕著に上回り、ラベルなしデータを用いた重み付きランクアグリゲーションに基づくモデル選択手法により、パラメータチューニングが効果的に行えることが示された。

ABSTRACT

Literature search is critical for any scientific research. Different from Web or general domain search, a large portion of queries in scientific literature search are entity-set queries, that is, multiple entities of possibly different types. Entity-set queries reflect user's need for finding documents that contain multiple entities and reveal inter-entity relationships and thus pose non-trivial challenges to existing search algorithms that model each entity separately. However, entity-set queries are usually sparse (i.e., not so repetitive), which makes ineffective many supervised ranking models that rely heavily on associated click history. To address these challenges, we introduce SetRank, an unsupervised ranking framework that models inter-entity relationships and captures entity type information. Furthermore, we develop a novel unsupervised model selection algorithm, based on the technique of weighted rank aggregation, to automatically choose the parameter settings in SetRank without resorting to a labeled validation set. We evaluate our proposed unsupervised approach using datasets from TREC Genomics Tracks and Semantic Scholar's query log. The experiments demonstrate that SetRank significantly outperforms the baseline unsupervised models, especially on entity-set queries, and our model selection algorithm effectively chooses suitable parameter settings.

研究の動機と目的

• 複数の異なるタイプのエンティティを含むクエリにおけるエンティティ間関係に注目するが、既存のシステムでは十分に処理されていないエンティティ集合クエリのための文献ランク付けの課題に対処すること。
• ラベル付けされた関連性データに依存せずに、エンティティ関係とエンティティタイプの両方を捉える非教師ありランク付けモデルの開発。
• ラベル付けされた検証データセットの代わりにクリック履歴に基づくフィードバックのみを用いて、SetRankのパラメータを自動的にチューニングするモデル選択戦略の設計。
• 実世界の科学的文献データセット上でフレームワークを評価し、エンティティ集合全体に関連する文書を効果的に検索できることの実証。

提案手法

• SetRankは、クエリからエンティティタイプとエンティティ間関係を表現する異種クエリグラフを構築し、ユーザーの情報ニーズを符号化する。
• 外部の知識ベースを用いて、クエリと文書内のエンティティの表記を標準的エンティティにリンクさせ、タイプに配慮した表現を可能にする。
• 文書は、ボトムアップ・オブ・ワードとボトムアップ・オブ・エンティティの両方のモデルで表現され、それぞれ言語モデルに適合させて照合を実現する。
• クエリ文書照合は、文書がクエリグラフ内の情報をどの程度うまくカバーするかを評価するグラフカバー問題として定式化される。関連性スコアは、そのカバー度に相当する。
• 重み付きランクアグリゲーションを用いた、クリック履歴に基づくランクの集約を活用する、非教師ありの新規モデル選択アルゴリズムを提案する。
• フレームワークはコールドスタートの文献検索システムに統合され、遺伝子集合や疾患関連性を含む実際の生物医学的クエリで評価された。

実験結果

リサーチクエスチョン

• RQ1 複数の異なるタイプのエンティティを含む科学的文献クエリにおけるエンティティ間関係を、非教師ありランク付けモデルが効果的に捉えることができるか？
• RQ2 ラベル付けされた関連性判断が得られない状況下で、このようなモデルのパラメータチューニングをどのように行えるか？
• RQ3 エンティティタイプと関係性をモデル化することで、ベースラインの非教師ありモデルと比較して、エンティティ集合クエリのランク付け品質に顕著な向上が得られるか？
• RQ4 重み付きランクアグリゲーションに基づく提案手法は、クリックデータのみを用いても、最適なパラメータ設定を信頼性高く特定できるか？

主な発見

• SetRankはエンティティ集合クエリにおいて、ベースラインの非教師ありモデルを顕著に上回り、S2ベンチマークでは平均NDCG@20が0.4011に達したのに対し、ベースラインは0.3622であった。
• TREC Genomicsデータセットでは、最良のベースラインと比較してNDCG@10で15.8%の相対的改善を示し、複雑なエンティティ集合クエリにおいて強い有効性を示した。
• 重み付きランクアグリゲーションに基づく非教師ありモデル選択アルゴリズムは、ラベルなしデータを必要とせず、アブレーションスタディにより高パフォーマンスなパラメータ設定を的確に同定できた。
• 実世界の生物医学的ケーススタディでは、SetRankはアルツハイマー病と関連遺伝子に関する5篇の非常に関連性の高い論文を検索したが、PubMedは手動でのクエリ再定式化後も1件の関連性の高い結果しか返さなかった。
• SetRankが返した上位2件の論文は、クエリに含まれる6つの固有の遺伝子をカバーしており、競合システムと比較してエンティティ集合全体のカバー度が優れていた。