[論文レビュー] Detecting, Understanding and Supporting Everyday Learning in Web Search

Ran Yu, Ujwal Gadiraju+1 more|arXiv (Cornell University)|Jun 28, 2018

Information Retrieval and Search Behavior参考文献 35被引用数 5

ひとこと要約

本稿では、ユーザー行動を活用して学習意図、知識状態、学習進行状況を推定することで、ウェブ検索における日常的学習の検出、理解、支援を可能にするフレームワークを提案する。情報検索セッションの分類、知識獲得の予測、学習成果を最適化するリtrievalおよびランク付けのための教師あり機械学習手法を導入し、制御された実験において、インタラクション特徴量とユーザーの知識習得の間に顕著な相関関係があることが示された。

ABSTRACT

Web search is among the most ubiquitous online activities, commonly used to acquire new knowledge and to satisfy learning-related objectives through informational search sessions. The importance of learning as an outcome of web search has been recognized widely, leading to a variety of research at the intersection of information retrieval, human computer interaction and learning-oriented sciences. Given the lack of explicit information, understanding of users and their learning needs has to be derived from their search behavior and resource interactions. In this paper, we introduce the involved research challenges and survey related work on the detection of learning needs, understanding of users, e.g. with respect to their knowledge state, learning tasks and learning progress throughout a search session as well as the actual consideration of learning needs throughout the retrieval and ranking process. In addition, we summarise our own research contributing to the aforementioned tasks and describe our research agenda in this context.

研究の動機と目的

• 明示的なユーザー意図シグナルが欠如する状況において、学習関連のウェブ検索セッションを特定する課題に対処すること。
• 構造化されていない検索行動から、ユーザーの知識状態、学習タスク、進行状況を推定するための手法を開発すること。
• 推定された学習ニーズおよび知識状態を組み込むことで、検索リtrievalおよびランク付けを向上させ、学習成果を改善すること。
• 熟練学習者のフィードバックに基づくガイドラインを統合した共同検索インターフェースを設計し、仲間による支援とフィードバックを通じて知識習得を支援すること。
• 大規模なデータ収集と、真の知識獲得メトリクスを伴う検索セッションの分析を通じて、分野を前進させること。

提案手法

• クエリの順序、セッション時間、インタラクションパターンを用いて、教師あり機械学習を活用し、ウェブ検索セッションを情報的（学習関連）であるか分類する。
• 特徴工学を活用し、クエリの反復、滞在時間、ナビゲーションパターンなどのユーザー行動シグナルを抽出することで、知識状態および学習進行状況を推定する。
• 制御された検索実験中に収集した事前・事後テストスコアを用いてトレーニングされた、知識獲得予測モデルを適用する。
• 熟練学習者のフィードバックに基づいて順序を決定する共同検索インターフェースを導入し、初心者を支援する。
• ユーザーの現在の知識レベルに合ったリソースを推薦するようにランク付けアルゴリズムを最適化し、難易度が高すぎたり低すぎたりする資料を避ける。
• 事前・事後テストを用いた準実験を通じて、インターフェースおよびリtrievalの変更が学習成果に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 ウェブ検索におけるユーザーインタラクションデータから、どのようにして学習関連の検索セッションを自動的に検出できるか？
• RQ2 検索セッション中に、ユーザーの知識状態および知識獲得を最もよく予測する行動特徴は何か？
• RQ3 一般用途の検索環境において、共同的かつ効果的な学習を支援できるように、検索インターフェースをどのように適合できるか？
• RQ4 リtrievalおよびランク付けアルゴリズムを、学習効率および知識獲得を最大化するように最適化できる程度はどの程度か？
• RQ5 観察可能なユーザー行動と、ウェブ検索セッションにおける実際の知識習得の間には、どのような関係があるか？

主な発見

• 913セッションのログに含まれる実世界のウェブ検索セッションのうち49.7％が情報的（学習関連）と分類され、学習関連活動の大きな割合を示している。
• セッションレベルの特徴（例：クエリの順序、インタラクションパターン）を用いた教師ありモデルが、学習関連セッションの検出において有望なパフォーマンスを示した。
• ユーザーのインタラクション特徴量（例：クエリの反復、滞在時間）と、事前・事後テストで測定された実際の知識獲得との間に強い相関関係が観察された。
• 熟練学習者のフィードバックに基づく共同検索インターフェースは、初期の準実験において学習成果を顕著に向上させた。
• 知識状態予測モデルは、検索セッション中に変化するユーザーの理解度を推定する上で実現可能性を示した。
• リソースの難易度とユーザーのレベルのバランスを最適化することで、知識獲得を目的としたランク付けの最適化は、従来の情報検索を凌駆える学習効率の向上の可能性を示した。