[논문 리뷰] iLCM - A Virtual Research Infrastructure for Large-Scale Qualitative Data

Andreas Niekler, Arnim Bleier외 6명|arXiv (Cornell University)|2018. 05. 11.

Computational and Text Analysis Methods참고 문헌 14인용 수 6

한 줄 요약

iLCM는 계산사회과학 및 디지털 인문학 분야에서 비정형적이고 구조화된 데이터의 재현 가능하고 대규모의 혼합 방법론 분석을 가능하게 하는 소프트웨어로서 서비스(SaaS) 형태의 가상 연구 인fra구조를 제안한다. 이는 대규모 텍스트 분석을 위한 라이프치크 코퍼스 마이너(LCM)와 실행 가능한 노트북을 위한 오픈 리서치 컴퓨팅(ORC) 환경을 통합한다. 시스템은 GUI를 통한 비기술자 사용자와 코드 기반 워크플로우를 통한 고급 사용자 모두를 지원하며, 분석 워크플로우의 공유 및 재사용을 위한 중앙 저장소를 제공한다.

ABSTRACT

The iLCM project pursues the development of an integrated research environment for the analysis of structured and unstructured data in a "Software as a Service" architecture (SaaS). The research environment addresses requirements for the quantitative evaluation of large amounts of qualitative data with text mining methods as well as requirements for the reproducibility of data-driven research designs in the social sciences. For this, the iLCM research environment comprises two central components. First, the Leipzig Corpus Miner (LCM), a decentralized SaaS application for the analysis of large amounts of news texts developed in a previous Digital Humanities project. Second, the text mining tools implemented in the LCM are extended by an "Open Research Computing" (ORC) environment for executable script documents, so-called "notebooks". This novel integration allows to combine generic, high-performance methods to process large amounts of unstructured text data and with individual program scripts to address specific research requirements in computational social science and digital humanities.

연구 동기 및 목표

• 계산사회과학 및 디지털 인문학 분야에서 대규모 정성 텍스트 데이터의 확장성 있고 재현 가능한 분석에 대한 증가하는 수요를 해결하기 위해.
• 일반적인 텍스트 마이닝 도구를 사용하는 비기술자 연구자와 맞춤형 분석 스크립트가 필요한 고급 사용자 사이의 격차를 메우기 위해.
• 실행 가능한 노트북과 문서화된 프로세스를 포함한 중앙 저장소를 통해 텍스트 분석 워크플로우의 재현 가능성과 재사용성을 보장하기 위해.
• 비정형 텍스트 분석과 구조화된 데이터 처리를 하나의 표준화된 환경에서 통합하여 혼합 방법론 연구를 지원하기 위해.
• 이전 프로토타입 배포에서의 사용자 피드백을 바탕으로 사용성 향상과 분석 기능 확장하기 위해.

제안 방법

• 라이프치크 코퍼스 마이너(LCM)는 브라우저 기반 GUI를 통해 뉴스 코퍼스와 같은 대규모 텍스트 컬렉션을 표준화된 텍스트 마이닝 방법을 사용해 전처리 및 분석할 수 있도록 한다.
• LCM는 비정형 텍스트에서 키워드 추출, 빈도 및 공존 분석, 명명된 실체 인식, 주제 모델링을 지원한다.
• 오픈 리서치 컴퓨팅(ORC) 구성 요소는 구조화된 데이터를 위한 상호작용형 노트북에서 사용자 정의 분석 스크립트를 작성하고 실행할 수 있도록 한다.
• LCM 또는 외부 원천(예: 메타데이터, 설문 조사 데이터)에서 온 구조화된 데이터는 ORC 환경으로 가져와 통계적 및 네트워크 분석을 수행할 수 있다.
• LCM와 ORC의 통합은 하나의 재현 가능한 워크플로우 내에서 원시 텍스트에서 구조화된 데이터 분석에 이르기까지 종단 간 분석을 가능하게 한다.
• 중앙 저장소는 노트북, 데이터, 결과 및 문서를 저장하여 연구 프로세스의 투명성, 공유 및 재사용을 보장한다.

실험 결과

연구 질문

• RQ1 뉴스, 소셜 미디어 또는 의회 기록에서 유래한 대규모 정성적 데이터는 어떻게 재현 가능하고 확장 가능한 방식으로 분석할 수 있는가?
• RQ2 GUI 기반 텍스트 마이닝과 코드 기반 분석을 조합한 하이브리드 아키텍처는 사회과학 연구에서 다양한 수준의 전문 지식을 가진 사용자에게 얼마나 효과적으로 기여하는가?
• RQ3 텍스트 마이닝과 구조화된 데이터 분석은 어떻게 통합되어 계산사회과학 분야의 혼합 방법론 연구를 지원할 수 있는가?
• RQ4 디지털 인문학 및 사회과학 분야에서 대규모 텍스트 분석 도구를 사용하는 연구자들이 요구하는 사용성 및 방법론적 요건은 무엇인가?
• RQ5 실행 가능한 노트북과 중앙 집중식 버전 관리 기반으로 텍스트 분석 워크플로우의 재현 가능성을 어떻게 향상시킬 수 있는가?

주요 결과

• iLCM 인fra구조는 대규모 텍스트 분석을 위한 LCM와 사용자 정의 스크립트 실행을 위한 ORC 환경을 성공적으로 통합하여 광범위한 접근성과 고급 분석 기능을 동시에 제공한다.
• 시스템은 데이터, 코드, 결과 및 문서를 포함한 전체 분석 워크플로우를 중앙 노트북 저장소에 저장함으로써 재현 가능한 연구를 지원한다.
• 위키피디아 생애사전의 성별 편향 분석 및 경제 정책 보도의 주제-사람 네트워크 분석과 같은 사용 사례는 플랫폼이 복잡한 실제 연구 문제를 다룰 수 있음을 보여준다.
• GUI 기반의 LCM는 프로그래밍 경험이 없는 사용자가 뉴욕타임즈 코퍼스와 같은 대규모 코퍼스에서 키워드 추출 및 주제 모델링과 같은 핵심 텍스트 마이닝 작업을 수행할 수 있도록 한다.
• ORC 구성 요소는 LCM 출력물에서 유도된 네트워크 구조와 주제 공존 분석을 정교하게 분석할 수 있도록 고급 사용자에게 기회를 제공하며, 가설 검증 및 통계적 검증을 지원한다.
• 프로토타입 사용에서의 초기 사용자 피드백은 이중 구성 요소 아키텍처가 다양한 수준의 계산 전문 지식을 가진 연구자를 효과적으로 지원한다는 점을 시사한다.