[논문 리뷰] Information search in a professional context - exploring a collection of professional search tasks

Suzan Verberne, Jiyin He외 4명|arXiv (Cornell University)|2019. 05. 11.

Information Retrieval and Search Behavior참고 문헌 12인용 수 24

한 줄 요약

이 연구는 다양한 분야의 전문가들이 수행한 56개의 실제 검색 작업을 대상으로 한 설문 조사로, 전문가 수준의 정보 소양이 요구되는 복잡하고 특정적이며 다중 출처를 필요로 하는 검색 작업이 전문가 검색의 특징임을 규명한다. 웹 검색과 달리 전문가 검색은 출판 연도나 출처의 권위성과 같은 완전성과 관련성 기준을 강조하며, 정보 검색 연구에서 전문가 검색이 별도의 장르로 다뤄져야 한다는 것을 시사한다.

ABSTRACT

Search conducted in a work context is an everyday activity that has been around since long before the Web was invented, yet we still seem to understand little about its general characteristics. With this paper we aim to contribute to a better understanding of this large but rather multi-faceted area of `professional search'. Unlike task-based studies that aim at measuring the effectiveness of search methods, we chose to take a step back by conducting a survey among professional searchers to understand their typical search tasks. By doing so we offer complementary insights into the subject area. We asked our respondents to provide actual search tasks they have worked on, information about how these were conducted and details on how successful they eventually were. We then manually coded the collection of 56 search tasks with task characteristics and relevance criteria, and used the coded dataset for exploration purposes. Despite the relatively small scale of this study, our data provides enough evidence that professional search is indeed very different from Web search in many key respects and that this is a field that offers many avenues for future research.

연구 동기 및 목표

• 웹 검색과는 구별되는 실제 업무 환경에서의 전문가 검색의 특징을 이해하기 위해.
• 정보 검색에서 전문가 검색을 별도의 장르로 간주할 정도로 충분히 다를 수 있는지 조사하기 위해.
• 전문가 검색자의 목표, 행동 및 요구가 일관성 있게 유지되어 일관된 연구 분야를 이룰 수 있는지 평가하기 위해.
• 자기 보고 및 후행적 작업 기술 기술을 통해 전문가 검색의 관련성 기준과 작업 복잡성 탐구하기.
• 핵심 사용자 요구와 인터페이스 요구사항을 규명하여 전문가 검색 시스템 설계에 기여하기 위해.

제안 방법

• 법률, 의료, 저널리즘 등 다양한 분야의 전문가 검색자들을 대상으로 실제 업무에서 수행한 검색 작업을 수집하기 위해 설문 조사를 실시함.
• 작업의 배경, 정보 필요성, 검색 과정, 성공 결과 등을 포함한 후행적 작업 기술 기술을 수집함.
• 작업 특성(예: 복잡성, 특정성 등)과 관련성 기준을 위한 구조화된 체계를 사용해 56개의 작업을 수동으로 코드화함.
• 기반 설정 코드 기법을 사용해 검색 행동, 자료 사용 및 관련성 판단에서 반복되는 패턴을 식별함.
• 관련성 기준(예: 출판 연도, 출처 권위성)과 다중 출처 사용의 빈도 및 분포를 분석함.
• 정보학 전문가(LIS 전문가)가 전문가 검색에서 어떤 역할을 하는지 탐색하며, 응답자 중에서 그들의 빈도를 기록함.

실험 결과

연구 질문

• RQ1 수집된 데이터에 전문가 검색의 특징(복잡성, 전문가 검색자, 탐색적 필요성 등)이 어느 정도 반영되어 있는가?
• RQ2 이러한 특징들이 전문가 검색을 별도의 검색 장르로 간주할 정도로 뚜렷한가?
• RQ3 전문가 검색자의 요구, 목표 및 행동이 일관성 있게 유지되어 일관된 하나의 연구 분야로 간주할 수 있는가?

주요 결과

• 한 작업당 평균으로 3개의 검색 시스템 또는 데이터베이스를 사용했으며, 일부 작업은 8개 이상의 자료를 요구해 높은 작업 복잡성을 보였음.
• 56개 작업 중 9개가 명시적으로 부울 연산자를 사용하여 전문가 검색에서 고도로 발전된 쿼리 구성 기술이 적용됨을 보여줌.
• 출판 연도는 관련성 기준 중 네 번째로 자주 언급된 요소였으며, 사용자들은 최신 논문의 중요성을 강조함.
• 응답자의 다수는 정보학 전문가 또는 도서관사였으며, 이는 전문가 검색이 도메인 전문가가 아닌 정보 전문가에 의해 주로 수행됨을 시사함.
• 작업은 매우 특정적이며 다중 출처를 요구했지만, 강한 탐색적 행동을 보인 경우가 거의 없었음. 대부분은 잘 정의된, 회수 중심의 작업이었으며, 특히 체계적 문헌 고찰에서 두드러짐.
• 현재 도구에서 다중 출처 검색 지원이 부족하여 전문가들이 여러 검색 엔진을 동시에 사용함을 확인함—이로 인해 전문가 검색 시스템 설계에서 핵심적인 격차가 드러남.