[논문 리뷰] What a Difference a Tag Cloud Makes: Effects of Tasks and Cognitive Abilities on Search Results Interface Use

Jacek Gwizdka|arXiv (Cornell University)|2010. 04. 13.

Advanced Text Analysis Techniques참고 문헌 69인용 수 35

한 줄 요약

이 연구는 작업 복잡도와 인지 능력(기억력, 어휘 완성 능력)이 리스트 및 개요 인터페이스 두 가지 결과 인터페이스를 사용할 때 검색 성과에 어떻게 영향을 미치는지 조사한다. 결과로, 개요 인터페이스는 특히 높은 인지 능력을 지닌 사용자에서 더 빠른 속도, 더 나은 질의 구성 및 결과 평가를 향상시키며, 이는 단순 작업에서는 더 빠르게 수행하지만 복잡한 작업에서는 더 높은 검색 노력에도 불구하고 더 나은 결과를 내지 못하는 경향을 보인다.

ABSTRACT

The goal of this study is to expand our understanding of the relationships between selected tasks, cognitive abilities and search result interfaces. The underlying objective is to understand how to select search results presentation for tasks and user contexts. Twenty three participants conducted four search tasks of two types and used two interfaces (List and Overview) to refine and examine search results. Clickthrough data were recorded. This controlled study employed a mixed model design with two within-subject factors (task and interface) and two between-subject factors (two cognitive abilities: memory span and verbal closure). Quantitative analyses were carried out by means of the statistical package SPSS. Specifically, multivariate analysis of variance with repeated measures and non-parametric tests were performed on the collected data. The overview of search results appeared to have benefited searchers in several ways. It made them faster; it facilitated formulation of more effective queries and helped to assess search results. Searchers with higher cognitive abilities were faster in the Overview interface and in less demanding situations (on simple tasks), while at the same time they issued about the same number of queries as lower-ability searchers. In more demanding situations (on complex tasks and in the List interface), the higher ability searchers expended more search effort, although they were not significantly slower than the lower ability people in these situations. The higher search effort, however, did not result in a measurable improvement of task outcomes for high-ability searchers. These findings have implications for the design of search interfaces. They suggest benefits of providing result overviews. They also suggest the importance of considering cognitive abilities in the design of search results' presentation and interaction.

연구 동기 및 목표

• 작업 복잡도와 인지 능력이 검색 행동과 성과에 어떻게 영향을 미치는지 이해하기 위해.
• 다양한 작업 요구 조건 하에서 두 가지 검색 결과 인터페이스(리스트 및 개요)의 효과성 평가를 위해.
• 높은 인지 능력이 다양한 인터페이스 유형에서 더 나은 검색 결과를 이끌어내는지 조사하기 위해.
• 사용자 인지 프로파일과 작업 특성에 기반한 검색 인터페이스 설계 시사점을 도출하기 위해.

제안 방법

• 23명의 참가자가 참여한 통제 실험으로, 작업 유형과 인터페이스를 내측 요인으로, 기억력과 어휘 완성 능력을 외측 요인으로 하는 혼합 모델 설계를 사용하였다.
• 리스트 및 개요 인터페이스를 랜덤 순서로 사용하여 단순 작업 2개와 복잡한 작업 2개 총 4개의 검색 작업을 수행하였다.
• 클릭스루 데이터를 수집하여 질의 횟수와 작업 시간을 포함한 검색 행동을 측정하였다.
• 반복 측정을 포함한 다변량 분산 분석(MANOVA)을 사용하여 조건 간 성과 차이를 분석하였다.
• 정규 분포를 따르지 않는 데이터에 대해 비모수적 검정을 적용하여 결과의 타당성을 검증하였다.
• 기본 평가를 통해 참가자를 높은 능력군과 낮은 능력군으로 분류하기 위해 표준화된 평가를 실시하였다.

실험 결과

연구 질문

• RQ1 검색 결과 인터페이스 선택(리스트 대비 개요)이 다양한 작업 유형에서 검색 성과에 어떻게 영향을 미치는가?
• RQ2 인지 능력(기억력과 어휘 완성 능력)이 다양한 인터페이스에서 검색 성과에 얼마나 중재 작용하는가?
• RQ3 높은 인지 능력이 복잡한 검색 작업에서 더 나은 작업 결과를 이끌어내는가?
• RQ4 높은 인지 능력을 지닌 사용자와 낮은 능력의 사용자 간 질의 구성 및 검색 노력에 차이가 있는가?

주요 결과

• 모든 작업에서 개요 인터페이스는 리스트 인터페이스보다 검색 속도를 유의하게 향상시켰다.
• 높은 인지 능력을 지닌 사용자는 개요 인터페이스에서 특히 단순 작업에서 더 빠르게 행동했으며, 질의 횟수는 증가하지 않았다.
• 복잡한 작업과 리스트 인터페이스 상황에서 높은 능력의 사용자는 더 많은 검색 노력에 투자했지만, 낮은 능력의 사용자보다 유의미하게 느리지 않았다.
• 더 높은 검색 노력에도 불구하고 높은 능력의 사용자는 복잡한 작업에서 측정 가능한 더 나은 작업 결과를 내지 못했다.
• 개요 인터페이스는 더 효과적인 질의 구성과 더 나은 검색 결과 평가를 촉진하였다.
• 인지 능력은 성과에 유의미하게 영향을 미쳤으며, 특히 요구가 덜한 검색 상황에서 더욱 두드러졌다.