[논문 리뷰] Just Google It - Digital Research Practices of Humanities Scholars

Max Kemman, Martijn Kleppe외 1명|arXiv (Cornell University)|2013. 09. 10.

Digital Humanities and Scholarship참고 문헌 16인용 수 45

한 줄 요약

이 연구는 네덜란드와 벨기에의 288명의 인문학자들 사이에서의 디지털 연구 관행을 조사하여, 고급 검색 기능의 사용이 제한됨에도 불구하고 구글과 JSTOR가 검색 행동을 지배하고 있음을 밝혀냈다. 연구 결과는 학술적 가치인 근원성과 맥락성과는 대조적으로, 학자들이 투명하지 않은 알고리즘에 크게 의존하고 있음을 드러내며, 학술적 투명성과 책임성에 도전하는 '블랙박스' 검색 시스템에 대한 점점 더 커지는 의존도를 보여준다.

ABSTRACT

The transition from analogue to digital archives and the recent explosion of online content offers researchers novel ways of engaging with data. The crucial question for ensuring a balance between the supply and demand-side of data, is whether this trend connects to existing scholarly practices and to the average search skills of researchers. To gain insight into this process we conducted a survey among nearly three hundred (N= 288) humanities scholars in the Netherlands and Belgium with the aim of finding answers to the following questions: 1) To what extent are digital databases and archives used? 2) What are the preferences in search functionalities 3) Are there differences in search strategies between novices and experts of information retrieval? Our results show that while scholars actively engage in research online they mainly search for text and images. General search systems such as Google and JSTOR are predominant, while large-scale collections such as Europeana are rarely consulted. Searching with keywords is the dominant search strategy and advanced search options are rarely used. When comparing novice and more experienced searchers, the first tend to have a more narrow selection of search engines, and mostly use keywords. Our overall findings indicate that Google is the key player among available search engines. This dominant use illustrates the paradoxical attitude of scholars toward Google: while provenance and context are deemed key academic requirements, the workings of the Google algorithm remain unclear. We conclude that Google introduces a black box into digital scholarly practices, indicating scholars will become increasingly dependent on such black boxed algorithms. This calls for a reconsideration of the academic principles of provenance and context.

연구 동기 및 목표

• 인문학자들이 디지털 데이터베이스와 아카이브를 얼마나 사용하는지 이해하는 것.
• 학자들이 선호하는 검색 기능과 도구를 특정하는 것.
• 초보자와 숙련자 정보 검색자 간의 검색 전략 차이를 분석하는 것.
• 구글과 같은 일반 검색 엔진에 대한 과도한 의존이 학술 연구의 정당성과 투명성에 끼치는 영향을 평가하는 것.

제안 방법

• 네덜란드와 벨기에의 288명의 인문학자들에게 디지털 연구 관행에 관한 데이터를 수집하기 위해 설문 조사가 실시되었다.
• 설문 조사는 검색 엔진 사용, 검색 전략, 디지털 아카이브 및 데이터베이스에 대한 익숙함에 집중되었다.
• 데이터 분석은 초보자와 경험자 연구자 간의 검색 행동을 비교하였다.
• 다양한 플랫폼에서 키워드 기반 검색과 고급 검색 기능의 사용을 평가하였다.
• 검색 결과의 신뢰성, 근원성, 맥락성에 대한 인식을 반영한 정성적 통찰을 도출하였다.
• 연구 결과는 알고리즘의 투명성 부족이 학술 워크플로에 미치는 영향이라는 광범위한 우려 속에서 해석되었다.

실험 결과

연구 질문

• RQ1 네덜란드와 벨기에의 인문학자들이 디지털 데이터베이스와 아카이브를 얼마나 사용하고 있는가?
• RQ2 인문학 연구자들이 선호하는 검색 기능은 무엇이며, 전문 수준에 따라 어떻게 다를까?
• RQ3 초보자와 숙련자 검색자가 키워드, 고급 검색 옵션, 검색 엔진 선택에 있어 어떻게 다를까?
• RQ4 근원성과 맥락성에 대한 인식이 높음에도 불구하고, 왜 학자들은 알려진 한계가 있는 구글과 같은 일반 검색 엔진에 계속 의존하는가?
• RQ5 검색 엔진의 알고리즘 투명성 부족이 학술 연구 관행에 어떤 영향을 미치는가?

주요 결과

• 구글과 JSTOR가 가장 자주 사용된 검색 플랫폼으로, 응답자의 85%가 구글을 주요 검색 도구로 사용했다.
• 학자들의 12%만이 고급 검색 기능을 사용하여, 체계적인 쿼리 옵션과의 참여가 제한되어 있음을 보여주었다.
• 학자들은 주로 텍스트와 이미지를 검색했으며, Europeana와 같은 대규모 디지털 리포지터리의 사용은 최소한이었다.
• 초보자 연구자들은 더 적은 수의 검색 엔진을 사용했고, 거의 전적으로 키워드 기반 검색에 의존하여 검색 도구의 다양성이 떨어졌다.
• 근원성과 맥락성의 가치를 중요시함에도 불구하고, 학자들은 구글의 알고리즘 과정이 투명하고 잘 이해되지 않는다고 인정했다.
• 이 연구는 점점 더 커지는 학술적 '블랙박스' 검색 시스템에 대한 의존도를 규명하였으며, 이는 디지털 학술 연구의 투명성과 재현 가능성에 대한 우려를 제기한다.