[論文レビュー] Towards More Usable Dataset Search: From Query Characterization to Snippet Generation

Jinchi Chen, Xiaxia Wang+3 more|arXiv (Cornell University)|Aug 29, 2019

Data Quality and Management参考文献 1被引用数 8

ひとこと要約

本稿では、1,947件のクエリを細かくアノテートし、データセットコンテンツからクエリに偏ったスニペットを生成することで、実際のデータニーズを特徴づけることで使いやすさを向上させるクエリ中心のデータセット検索フレームワークを提案する。スニペット生成法としてグループスティーナー木問題に基づく手法を導入し、関連性を向上させた。ユーザー研究により、クエリに偏ったスニペットがクエリに依存しないスニペットを上回ることが実証された。

ABSTRACT

Reusing published datasets on the Web is of great interest to researchers and developers. Their data needs may be met by submitting queries to a dataset search engine to retrieve relevant datasets. In this ongoing work towards developing a more usable dataset search engine, we characterize real data needs by annotating the semantics of 1,947 queries using a novel fine-grained scheme, to provide implications for enhancing dataset search. Based on the findings, we present a query-centered framework for dataset search, and explore the implementation of snippet generation and evaluate it with a preliminary user study.

研究の動機と目的

• 多様なソースからのユーザークエリを分析することで、データセット検索における実際のデータニーズを理解すること。
• データセット検索クエリ内の意味的要素を捉えるために、細かく分類されたアノテーションスキームを構築すること。
• 意味的処理と関連性に配慮したスニペット生成を組み合わせたクエリ中心のフレームワークを設計し、データセット検索の使いやすさを向上させること。
• ユーザー研究を用いて、クエリに偏ったスニペットとクエリに依存しないスニペットの有効性を比較評価すること。
• クエリ理解、インデクシング、コンテンツに配慮した要約を統合する次世代データセット検索エンジンの基盤を築くこと。

提案手法

• Stack Overflow、Open Data Stack Exchange、Redditといったオンラインコミュニティおよび国家オープンデータポータル（data.gov.uk）から、1,947件の実際のデータセット検索クエリを収集した。
• メタデータ（例：名前、フォーマット、言語）およびコンテンツ（例：概念、地理的空間的要因、時間的要因）要因を細かくラベルづける、新しい細粒度のクエリアノテーションスキームを設計した。
• クエリ処理、インデクシングとランク付け、スニペット生成、バックエンドデータ管理の4つのコンponentsからなるクエリ中心のフレームワークを提案した。
• グループスティーナー木問題の最先端アルゴリズムを用いて、関連するデータコンテンツのセグメントを抽出するクエリに偏ったスニペット生成を実装した。
• クエリに偏ったスニペットとクエリに依存しない例示的スニペット（例：IlluSnip）の有用性を比較するための予備的ユーザー調査を実施した。
• 意味的パースィングとクエリリライトを用いて、検索のロバスト性を向上させ、曖昧または極端に具体的なクエリに対応した。

実験結果

リサーチクエスチョン

• RQ1 現実世界のデータセット検索クエリを構成する主な意味的要素は何か？
• RQ2 メタデータとデータコンテンツ要因は、実際のユーザークエリでどのように共起しているか？
• RQ3 クエリに偏ったスニペット生成は、クエリに依存しないスニペットと比較して、ユーザーがデータセットの関連性を理解する能力をどの程度向上させるか？
• RQ4 意味的クエリ理解とコンテンツに配慮した要約を統合するクエリ中心のフレームワークは、データセット検索の使いやすさを向上させることができるか？
• RQ5 現在のデータセット検索エンジンが捉えられていないユーザーのデータニーズの主なパターンは何か？

主な発見

• 96.05%のデータセット検索クエリに少なくとも1つのメタデータ要因が含まれており、その中で最も頻出するのはドメイン／トピック（94.45%）である。
• 概念（50.59%）や地理的空間的参照（19.21%）といったコンテンツ関連要因が頻繁に言及されており、ユーザーが特定のデータタイプや場所を求める傾向があることが示唆される。
• ユーザー調査の結果、クエリに偏ったスニペットは、クエリに依存しないスニペットよりもユーザーがデータセットの関連性を判断する能力を顕著に向上させた。
• グループスティーナー木に基づくスニペット生成法は、関連するデータコンテンツのカバー範囲とクエリの意図との整合性を効果的にバランスさせた。
• 63.79%のクエリにコンテンツ関連要因が含まれており、これは、メタデータだけでなく実際のデータコンテンツのインデクシングと要約の重要性を強調している。
• 実際のクエリ分析に基づくフレームワーク設計から、効果的なデータセット検索にはクエリの意味とデータコンテンツの共同モデリングが必要であることが明らかになった。