[논문 리뷰] Leipzig Corpus Miner - A Text Mining Infrastructure for Qualitative Data Analysis

Andreas Niekler, Gregor Wiedemann외 1명|arXiv (Cornell University)|2017. 07. 11.

Computational and Text Analysis Methods인용 수 12

한 줄 요약

라이프치히 코퍼스 마이너(LCM)는 대규모 텍스트 마이닝과 정성적 콘텐츠 분석을 통합하는 텍스트 마이닝 인fra를 제공하며, 자연어처리(NLP) 전문가가 아닌 연구자들도 주제 모델링, 명명된 실체 인식, 지도 학습 기반 분류와 같은 고급 자연어처리 기법을 거대한 코퍼스에 적용할 수 있도록 한다. UIMA 기반 처리 파이프라인과 사용자 친화적 인터페이스, MongoDB 기반의 스키마 없는 스토리지 구조를 결합함으로써 LCM는 재현 가능하고 확장성 있으며 방법론적으로 타당한 분석 워크플로우를 지원하며, 1946년에서 2012년 사이의 350만 건의 뉴스 기사로 구성된 350만 건의 기사 코퍼스를 활용한 정치학 분야에서의 네오리버럴리즘과 포스트민주주의에 대한 연구를 통해 그 효과가 입증되었다.

ABSTRACT

This paper presents the "Leipzig Corpus Miner", a technical infrastructure for supporting qualitative and quantitative content analysis. The infrastructure aims at the integration of 'close reading' procedures on individual documents with procedures of 'distant reading', e.g. lexical characteristics of large document collections. Therefore information retrieval systems, lexicometric statistics and machine learning procedures are combined in a coherent framework which enables qualitative data analysts to make use of state-of-the-art Natural Language Processing techniques on very large document collections. Applicability of the framework ranges from social sciences to media studies and market research. As an example we introduce the usage of the framework in a political science study on post-democracy and neoliberalism.

연구 동기 및 목표

• 인문학 및 사회과학 분야의 NLP 전문가가 아닌 연구자들이 정성적 콘텐츠 분석과 대규모 텍스트 마이닝 사이의 격차를 메우는 것.
• 고립되거나 수동적인 텍스트 마이닝 도구의 한계를 극복하고, 빅데이터 환경에서 통합적이고 다단계의 분석 워크플로우를 가능하게 하는 것.
• 체계적인 NLP 기법 통합을 통해 정성적 연구의 재현 가능성, 신뢰성 및 방법론적 엄밀함을 높이는 것.
• 도메인 특화의 방법론을 존중하면서도 컴퓨팅 파워를 활용할 수 있도록 공통 인터페이스를 제공함으로써 다학제적 협업을 촉진하는 것.
• 기존의 콘텐츠 분석을 발전시켜 최신 NLP 파이프라인을 활용한 자동화되면서도 제어 가능한 거대 코퍼스 처리를 가능하게 하는 것.

제안 방법

• LCM는 텍스트 처리를 위해 UIMA 아키텍처를 활용하여 토큰화, 문장 경계 검출, 품사 태깅, 명명된 실체 인식, 다단어 구분 등 NLP 컴포넌트(annotator)를 연결한다.
• OpenNLP, Stanford NER, JRC-Names, 위키백과 기반 도구를 통합하여 실체 및 용어 검출을 수행하며, 라이프치히 코퍼스 컬렉션에 기반한 커스터마이징된 모델을 활용한다.
• 스키마 없는 데이터 스토리지 시스템을 MongoDB 기반으로 구현하여 유연한 주석 처리를 가능하게 하며, 스키마 제약 없이 메타데이터 구조의 동적 추가 또는 제거를 허용한다.
• ClearTK를 통한 지도 학습을 지원하여 설정 가능한 파rameter를 갖춘 분류 및 주제 모델링 워크플로우를 구현한다.
• 분석자가 자동으로 분류된 텍스트 스니펫을 검증함으로써 반복적으로 모델 성능을 향상시키는 활성 학습 루프를 구현하며, 정밀도와 재현율을 추적한다.
• 워크플로우 조합 기능을 통해 한 프로세스의 출력(예: 핵심어 또는 주제)이 후속 프로세스(예: 문서 검색 또는 분류)의 입력으로 사용될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 대규모 텍스트 마이닝을 정성적 콘텐츠 분석에 체계적으로 통합할 수 있는 방법은 무엇인가? 이 과정에서 NLP 전문 지식이 필수적인가?
• RQ2 자동화된 NLP 파이프라인이 대규모 텍스트 코퍼스에 대한 정성적 연구의 신뢰성과 재현 가능성에 어느 정도 기여할 수 있는가?
• RQ3 주제 모델링과 关련어 추출은 정치학 분야의 도메인 특화 분석을 위해 관련 문서를 어떻게 식별하고 걸러낼 수 있는가?
• RQ4 활성 학습과 전문가 검증을 통해 뉴스 기사의 논증적 구조를 높은 정밀도로 반자동으로 분류할 수 있는가?
• RQ5 다양한 NLP 기법을 하나의 워크플로우에 통합함으로써 사회과학 연구의 정성적 탐구의 깊이와 범위는 어떻게 향상될 수 있는가?

주요 결과

• LCM는 1946년에서 2012년 사이의 350만 건의 뉴스 기사로 구성된 코퍼스를 활용하여 네오리버럴리즘과 포스트민주주의에 대한 정치학 연구를 성공적으로 수행하였다.
• 500개의 핵심어를 추출하기 위해 36권의 네오리버럴 이론 서적으로 구성된 기준 코퍼스를 활용하였으며, 이를 바탕으로 전체 코퍼스에서 10,000건의 잠재적으로 관련성이 높은 문서를 추출하였다.
• 선택된 서브셋에 대한 주제 모델링을 통해 연구자가 조사 중인 핵심 정책 분야와 관련이 없는 문서를 걸러내는 테마 클러스터를 식별할 수 있었다.
• 상위 랭킹 문서의 논증적 구조에 대한 수동 주석 처리를 통해 정성적 코드화를 위한 계층적 카테고리 체계가 개발되었다.
• 활성 학습 파이프라인을 통해 높은 신뢰도의 논증적 텍스트 부분 분류가 달성되었으며, 분석자가 예측를 검토하거나 기각함으로써 모델 정확도를 반복적으로 향상시킬 수 있었다.
• 최종 분류 결과가 전체 코퍼스에 적용되어, 시간에 따른 카테고리 비율의 정성적 해석과 정량적 분석이 동시에 가능해졌다.