[논문 리뷰] Usability Evaluation for Online Professional Search in the Dutch Archaeology Domain

Alex Brandsen, Suzan Verberne외 2명|arXiv (Cornell University)|2021. 03. 07.

Usability and User Interface Design참고 문헌 41인용 수 24

한 줄 요약

이 논문은 AGNES를 네덜란드 고고학 전체 텍스트 검색 시스템으로 소개하고, 고고학자 포커스 그룹을 통한 사용성 평가를 수행하여 정보 필요성, 질의 전략, 인터페이스 학습 가능성을 밝힌다.

ABSTRACT

This paper presents AGNES, the first information retrieval system for archaeological grey literature, allowing full-text search of these long archaeological documents. This search system has a web interface that allows archaeology professionals and scholars to search through a collection of over 60,000 Dutch excavation reports, totalling 361 million words. We conducted a user study for the evaluation of AGNES's search interface, with a small but diverse user group. The evaluation was done by screen capturing and a think aloud protocol, combined with a user interface feedback questionnaire. The evaluation covered both controlled use (completion of a pre-defined task) as well as free use (completion of a freely chosen task). The free use allows us to study the information needs of archaeologists, as well as their interactions with the search system. We conclude that: (1) the information needs of archaeologists are typically recall-oriented, often requiring a list of items as answer; (2) the users prefer the use of free-text queries over metadata filters, confirming the value of a free-text search system; (3) the compilation of a diverse user group contributed to the collection of diverse issues as feedback for improving the system. We are currently refining AGNES's user interface and improving its precision for archaeological entities, so that AGNES will help archaeologists to answer their research questions more effectively and efficiently, leading to a more coherent narrative of the past.

연구 동기 및 목표

• 네덜란드 고고학자들이 회색문헌과 보고서를 검색할 때의 정보 필요를 식별한다.
• 명명 엔티티를 포함하여 약 60,000문서를 인덱싱하는 IR/NLP 기반 검색 시스템(AGNES)을 개발한다.
• Think Aloud 프로토콜을 사용하는 다양한 고고학자 포커스 그룹으로 AGNES의 사용성을 평가한다.
• 정보 검색에서 사용자 질의 전략과 패싯, 지도, 질의 빌더의 역할을 분석한다.
• 고고학 검색 도구의 사용성과 채택을 개선하기 위한 설계 권고를 제공한다.

제안 방법

• DANS 저장소에 보관된 전체 텍스트 인덱스와 함께 명명 엔티티 인식(NER)을 갖춘 AGNES를 구축한다.
• ElasticSearch를 사용하여 페이지 수준으로 문서를 인덱싱하고(향후 장/절 수준으로 확장 예정).
• 부울 로직과 엔터티별 질의가 가능한 프런트엔드 질의 빌더와 패싯 필터링 및 지도 기반 결과를 제공한다.
• 사전 정의된 작업과 자가 정의 정보 필요를 갖춘 Think Aloud를 이용한 1:1 사용성 세션을 수행한다.
• 세션을 녹음하고 필사를 진행하며 현상학적 이론으로 분석하고 질적·양적 사용성 신호(질의, 질의 요소당 시간)를 계산한다.
• 소규모 사용자 그룹(10명의 참가자)을 활용해 이슈를 식별하고, 그룹 간 이슈의 빈도와 다양성을 분석한다.

실험 결과

연구 질문

• RQ1 네덜란드 고고학자들이 보관 아카이브 회색 문헌을 검색할 때 어떤 정보 필요를 갖고 있는가?
• RQ2 고고학자들은 AGNES를 사용할 때 어떤 질의 전략을 활용하는가?
• RQ3 사용자들은 AGNES 시스템의 사용성 및 기능에 대해 얼마나 만족하는가?

주요 결과

• 고고학자들은 AGNES에서 지리적 검색, 지도 플로팅, 패싯 검색을 선호한다.
• 참가자들은 정밀도보다 높은 재현율의 목록형 결과를 선호한다.
• 패싯은 질의의 15%에서만 사용되었고, 질의 빌더의 고급 OR/그룹 기능은 저활용되었다(9.5%).
• 64개의 정보 필요에 걸쳐 관찰된 148개의 질의에서 사용자는 미리 정의된 작업에 대한 참조 질의를 형성할 수 있었으며, 이는 UI가 의도된 사용을 지지한다는 것을 시사한다.
• 질의 요소당 소요 시간은 더 많은 질의에서 감소하여 인터페이스가 배우기 쉽다는 것을 시사한다.
• 사용자들은 지도, 질의 빌더, 패싯, 스니펫을 긍정적인 기능으로 지적하는 반면, 도움 버튼, 패싯의 직관성, 개념 선택은 부정적이다.