[論文レビュー] Usability Evaluation for Online Professional Search in the Dutch Archaeology Domain

Alex Brandsen, Suzan Verberne+2 more|arXiv (Cornell University)|Mar 7, 2021

Usability and User Interface Design参考文献 41被引用数 24

ひとこと要約

本論文はオランダの考古学向け全文検索システムAGNESを紹介し、考古学者のフォーカスグループを対象に使いやすさを評価し、情報ニーズ、クエリ戦略、およびインターフェースの習熟性を明らかにする。

ABSTRACT

This paper presents AGNES, the first information retrieval system for archaeological grey literature, allowing full-text search of these long archaeological documents. This search system has a web interface that allows archaeology professionals and scholars to search through a collection of over 60,000 Dutch excavation reports, totalling 361 million words. We conducted a user study for the evaluation of AGNES's search interface, with a small but diverse user group. The evaluation was done by screen capturing and a think aloud protocol, combined with a user interface feedback questionnaire. The evaluation covered both controlled use (completion of a pre-defined task) as well as free use (completion of a freely chosen task). The free use allows us to study the information needs of archaeologists, as well as their interactions with the search system. We conclude that: (1) the information needs of archaeologists are typically recall-oriented, often requiring a list of items as answer; (2) the users prefer the use of free-text queries over metadata filters, confirming the value of a free-text search system; (3) the compilation of a diverse user group contributed to the collection of diverse issues as feedback for improving the system. We are currently refining AGNES's user interface and improving its precision for archaeological entities, so that AGNES will help archaeologists to answer their research questions more effectively and efficiently, leading to a more coherent narrative of the past.

研究の動機と目的

• 灰色文献および報告書を検索する際のオランダの考古学者の情報ニーズを特定する。
• エンティティ認識を用い約60,000件の文書をインデックス化するIR/NLPベースの検索システム（AGNES）を開発する。
• Think Aloudプロトコルを用いた多様な考古学者フォーカスグループでAGNESの使いやすさを評価する。
• ユーザーのクエリ戦略と情報検索におけるファセット、地図、クエリビルダーの役割を分析する。
• 考古学検索ツールの使いやすさと普及を改善する設計提案を提供する。

提案手法

• DANSリポジトリに保存された全文のインデックスとエンティティ認識機能を備えたAGNESを構築する。
• ElasticSearchを用いてページレベルで文書をインデックス化（将来的には章・節レベルを予定）する。
• ブール演算とエンティティ特有のクエリ機能、ファセットフィルタ、地図ベースの結果を備えたフロントエンドのクエリビルダーを提供する。
• 事前設定されたタスクと自己定義の情報ニーズを用いたThink Aloud方式の1対1のユーザビリティセッションを実施する。
• セッションを記録・文字起こしし、グラウンデッド・セオリーで分析し、定性的・定量的な使いやすさの指標（クエリ、クエリ要素あたりの時間）を算出する。
• 小規模なユーザーグループ（10名の参加者）を用いて問題を特定し、グループ間の問題の頻度と多様性を分析する。

実験結果

リサーチクエスチョン

• RQ1 アーカイブ灰色文献を検索する際、オランダの考古学者はどの情報ニーズを持つか。
• RQ2 考古学者はAGNESを使用する際、どのようなクエリ戦略を用いるか。
• RQ3 AGNESシステムの使いやすさと機能について、ユーザーの満足度はどの程度か。

主な発見

• 考古学者はAGNESで地理的検索、地図へのプロット、ファセット検索を好むことを示している。
• 参加者は精度より再現性の高いリスト形式の結果を好む。
• ファセットはクエリのわずか15%で使用され、クエリビルダーの高度なOR/グループ機能は過少利用（9.5%）だった。
• 64の情報ニーズに対して観察された148のクエリから、事前定義されたタスクの参照クエリを作成でき、UIが意図された使用をサポートしていることを示している。
• クエリ要素あたりの所要時間はクエリ数が増えると低下し、インターフェースの習得が容易であることを示唆している。
• ユーザーは地図、クエリビルダー、ファセット、スニペットを有利な機能として肯定的に評価する一方、ヘルプボタン、ファセットの直感性、概念選択を問題点として挙げている。