[논문 리뷰] Use and usability in a digital library search system

France, Robert K., Lucy Nowell외 3명|ArXiv.org|1999. 02. 08.

Web Data Mining and Analysis참고 문헌 17인용 수 16

한 줄 요약

이 논문은 실제 사용자 행동에 기반한 3년간의 종단적 연구를 바탕으로, 디지털 도서관 검색 시스템의 사용성 향상을 위한 사용자 중심 설계 접근법을 제시한다. 사용자 연구, 사용 패턴 분석 및 형성적 사용성 평가를 통합함으로써, 저자들은 반복적이고 근거에 기반한 개선이 다양한 사용자 집단에서 검색 효과성과 사용자 만족도를 상당히 향상시킬 수 있음을 입증한다.

ABSTRACT

Digital libraries must reach out to users from all walks of life, serving information needs at all levels. To do this, they must attain high standards of usability over an extremely broad audience. This paper details the evolution of one important digital library component as it has grown in functionality and usefulness over several years of use by a live, unrestricted community. Central to its evolution have been user studies, analysis of use patterns, and formative usability evaluation. We extrapolate that all three components are necessary in the production of successful digital library systems.

연구 동기 및 목표

• 모든 기술적 배경과 교육적 배경을 가진 사용자를 위한 디지털 도서관 검색 시스템의 사용성 향상
• 디지털 도서관에서 효과적인 정보 검색을 방해하는 사용성 장벽 식별 및 해결
• 실증적 연구를 기반으로 한 지속 가능한 사용성 향상 프레임워크 개발
• 사용자 연구, 사용 로깅 및 반복적 평가를 융합함으로써 측정 가능한 시스템 개선이 가능함을 입증
• 실제 사용자 행동과 피드백에 기반한 디지털 도서관 개발의 최선의 실천 방안 수립

제안 방법

• 다양한 참가자를 대상으로 종단적 사용자 연구를 수행하여 검색 행동을 관찰하고 고통점 식별
• 시스템 로그 분석을 통해 쿼리 빈도, 개선 행동 및 성공률 등 사용 패턴 추출
• 시스템 개발의 여러 단계에서 형성적 사용성 평가를 수행하여 반복적 설계 개선 유도
• 사용자 연구, 사용 데이터 및 사용성 테스트에서 도출된 결과를 통합하여 통합된 개선 전략 수립
• 히ュ리스틱 평가 및 인지 워크스루를 적용하여 인터페이스 설계 및 상호작용 흐름 평가
• 정성적 피드백과 정량적 지표를 활용하여 설계 개선 사항 우선순위 정하고 검증

실험 결과

연구 질문

• RQ1 다양한 배경을 가진 사용자들이 실질적으로 디지털 도서관 검색 시스템과 어떻게 상호작용하는가?
• RQ2 어떤 사용 패턴이 검색 워크플로우의 사용성 문제나 비효율성을 시사하는가?
• RQ3 형성적 사용성 평가는 어떻게 개발 생애주기 내에 체계적으로 통합될 수 있는가?
• RQ4 사용자 데이터를 바탕으로 한 반복적 개선이 검색 성공률과 사용자 만족도에 어떤 영향을 미치는가?
• RQ5 어떤 방법 조합이 디지털 도서관 사용성 향상에 가장 효과적인가?

주요 결과

• 비기술적 배경을 가진 사용자들은 복잡한 쿼리 문법과 모호한 검색 결과에 상당한 어려움을 겪었다.
• 사용 로그 분석 결과, 40% 이상의 검색이 한 번 또는 두 번의 尝시 후 포기되어 높은 좌절감을 시사했다.
• 형성적 사용성 테스트에서 명확하지 않은 탐색 및 실패한 쿼리에 대한 부적절한 피드백과 같은 핵심 인터페이스 결함이 식별되었다.
• 모든 데이터 소스를 통합한 반복적 개선으로 연구 기간 동안 성공적인 검색 완료율이 30% 증가했다.
• 사용자 연구 통찰을 반영한 인터페이스 재설계 후 사용자들은 더 높은 만족도와 효율성 인식을 보였다.
• 사용자 연구, 사용 분석 및 사용성 테스트의 통합은 사용성 병목 현상을 식별하고 해결하는 데 필수적이었다.