[論文レビュー] What a Difference a Tag Cloud Makes: Effects of Tasks and Cognitive Abilities on Search Results Interface Use

Jacek Gwizdka|arXiv (Cornell University)|Apr 13, 2010

Advanced Text Analysis Techniques参考文献 69被引用数 35

ひとこと要約

本研究では、タスクの複雑さと認知能力（作業記憶容量、語句閉鎖性）が、リストおよびオーバービューの2つの結果インターフェースを用いて検索パフォーマンスに与える影響を調査している。結果として、オーバービューインターフェースは、特に認知能力の高いユーザーにおいて、検索速度、クエリの作成、結果の評価を向上させることを示している。認知能力の高いユーザーは、単純なタスクではより速く処理するが、複雑なタスクでは高い検索努力を示しても、より良い結果に至らないことが明らかになった。

ABSTRACT

The goal of this study is to expand our understanding of the relationships between selected tasks, cognitive abilities and search result interfaces. The underlying objective is to understand how to select search results presentation for tasks and user contexts. Twenty three participants conducted four search tasks of two types and used two interfaces (List and Overview) to refine and examine search results. Clickthrough data were recorded. This controlled study employed a mixed model design with two within-subject factors (task and interface) and two between-subject factors (two cognitive abilities: memory span and verbal closure). Quantitative analyses were carried out by means of the statistical package SPSS. Specifically, multivariate analysis of variance with repeated measures and non-parametric tests were performed on the collected data. The overview of search results appeared to have benefited searchers in several ways. It made them faster; it facilitated formulation of more effective queries and helped to assess search results. Searchers with higher cognitive abilities were faster in the Overview interface and in less demanding situations (on simple tasks), while at the same time they issued about the same number of queries as lower-ability searchers. In more demanding situations (on complex tasks and in the List interface), the higher ability searchers expended more search effort, although they were not significantly slower than the lower ability people in these situations. The higher search effort, however, did not result in a measurable improvement of task outcomes for high-ability searchers. These findings have implications for the design of search interfaces. They suggest benefits of providing result overviews. They also suggest the importance of considering cognitive abilities in the design of search results' presentation and interaction.

研究の動機と目的

• タスクの複雑さと認知能力が検索行動およびパフォーマンスに与える影響を理解すること。
• 異なるタスク要件下での2つの検索結果インターフェース（リストおよびオーバービュー）の有効性を評価すること。
• 高い認知能力が、異なるインターフェースタイプにおいて、より良い検索結果をもたらすかどうかを検討すること。
• ユーザーの認知プロファイルとタスク特性に基づいた検索インターフェースの設計的示唆を同定すること。

提案手法

• 23名の参加者を対象とした制御実験であり、2つの被内要因（タスクタイプおよびインターフェース）と2つの被間要因（作業記憶容量および語句閉鎖性）を含む混合モデル設計を採用した。
• 単純タスク2つと複雑タスク2つを対象とし、ランダムに順序を決定したリストおよびオーバービューインターフェースを用いて4つの検索タスクを実施した。
• クリックストラックデータを収集し、クエリ数やタスク時間などの検索行動を測定した。
• 反復測定を伴う多変量分散分析（MANOVA）を用いて、条件間のパフォーマンス差を分析した。
• 非パラメトリック検定を適用して、正規分布に従わないデータに対しても結果の妥当性を検証した。
• 標準化された評価により認知能力を測定し、参加者を高能力群および低能力群に分類した。

実験結果

リサーチクエスチョン

• RQ1 検索結果インターフェースの選択（リスト対オーバービュー）が、異なるタスクタイプにおける検索パフォーマンスに与える影響は何か？
• RQ2 認知能力（作業記憶容量および語句閉鎖性）が、異なるインターフェース上での検索パフォーマンスにどの程度調節的効果を示すか？
• RQ3 高い認知能力は、特に複雑な検索タスクにおいて、より良いタスク成果をもたらすか？
• RQ4 高認知能力ユーザーは、低能力ユーザーと比較して、クエリ作成および検索努力においてどのように異なるか？

主な発見

• オーバービューインターフェースは、すべてのタスクにおいてリストインターフェースに比べて検索速度を顕著に向上させた。
• 認知能力の高いユーザーは、オーバービューインターフェースにおいて、特に単純なタスクでより速く処理したが、クエリ数に変化は見られなかった。
• 複雑なタスクおよびリストインターフェースでは、高能力ユーザーはより高い検索努力を示したが、低能力ユーザーと比べて有意に遅くはならなかった。
• 高い検索努力にもかかわらず、高能力ユーザーは複雑なタスクにおいて、測定可能なほど優れたタスク成果を上げることはできなかった。
• オーバービューインターフェースは、より効果的なクエリ作成および検索結果の評価を促進した。
• 認知能力はパフォーマンスに顕著な調節効果を示したが、特に要求が低い検索状況において顕著であった。