[논문 리뷰] Document Retrieval for Large Scale Content Analysis using Contextualized Dictionaries

Gregor Wiedemann, Andreas Niekler|arXiv (Cornell University)|2017. 07. 11.

Advanced Text Analysis Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 대규모 콘텐츠 분석에서 문서 검색을 위한 문맥 기반 사전 접근법을 제안하며, 주제 모델과 공출현 데이터를 사용하여 범주적 기반 문서에서 가중치가 부여된 용어 사전을 생성한다. 이 방법은 의미적 문맥을 통합하여 기준 기반 용어 가중치보다 검색 성능을 향상시키며, 주제 모델 기반 사전과 공출현 매칭을 사용할 경우 MAP가 0.861에 도달한다.

ABSTRACT

This paper presents a procedure to retrieve subsets of relevant documents from large text collections for Content Analysis, e.g. in social sciences. Document retrieval for this purpose needs to take account of the fact that analysts often cannot describe their research objective with a small set of key terms, especially when dealing with theoretical or rather abstract research interests. Instead, it is much easier to define a set of paradigmatic documents which reflect topics of interest as well as targeted manner of speech. Thus, in contrast to classic information retrieval tasks we employ manually compiled collections of reference documents to compose large queries of several hundred key terms, called dictionaries. We extract dictionaries via Topic Models and also use co-occurrence data from reference collections. Evaluations show that the procedure improves retrieval results for this purpose compared to alternative methods of key term extraction as well as neglecting co-occurrence data.

연구 동기 및 목표

• 연구 관심사가 추상적이며 단순한 키워드 검색으로는 포착되지 않는 대규모 텍스트 컬렉션에서 관련 문서를 검색하는 데 도전하는 것.
• 고립된 关련어에 의존하는 대신 수동으로 코딩된 기준 문서를 기반으로 쿼리 구성에 활용할 수 있는 검색 방법을 개발하는 것.
• 공출현 데이터와 주제 모델 기반 사전 가중치를 통합하여 문맥 정보를 통합함으로써 검색 성능을 향상시키는 것.
• 전통적인 용어 기반 방법(예: tf/idf 및 유니그램 매칭)과의 비교를 통해 이 방법의 효과성을 평가하는 것.
• 특히 특정 이념적 또는 논의적 특성을 지닌 문서를 식별하는 데 유용함을 보여주기 위해 사회과학 콘텐츠 분석에서의 활용 가능성을 입증하는 것.

제안 방법

• 연구 기반 문서 컬렉션에 대해 잠재적 디리히레 분포(Latent Dirichlet Allocation, LDA)를 적용하여 주제 관련 용어를 식별하는 반감독식 사전 추출 과정에서 시작한다.
• 사전 내 용어 가중치는 모든 주제를 통틀어 확률의 합으로 계산되며, 각 용어가 기준 컬렉션의 의미적 구조에 기여하는 정도를 반영한다.
• 용어 간 문맥적 관계를 모델링하기 위해 기준 컬렉션과 일반 언어 코퍼스에서 공출현 데이터를 추출한다.
• 하이브리드 유사도 측정법을 사용하여 문서 관련도 점수를 산정하며, 이는 유니그램 매칭과 문맥 기반 유사도를 가중치 파라미터 α로 조합한다.
• 다중 검색 시스템 간의 쌍별 비교를 기반으로 후보 문서를 순위 매기기 위해 콘도르세 방법을 적용하여 평가를 위한 견고한 가짜 관련 문서 세트를 선별한다.
• 성능 평가에는 평균 평균 정밀도(MAP)와 k단위 정밀도를 사용하며, 상위 랭크된 문서의 관련성에 대해 수동으로 레이블링한다.

실험 결과

연구 질문

• RQ1 주제 모델과 공출현 데이터에서 유도된 사전이 콘텐츠 분석에서 추상적이고 이론적으로 둔탁한 연구 관심사에 대해 문서 검색 성능을 향상시킬 수 있는가?
• RQ2 공출현 데이터를 포함할 경우, 순수한 용어 빈도만을 사용하는 것과 비교해 검색 품질에 어떤 영향을 미치는가?
• RQ3 콘텐츠 분석 작업의 검색에 사용될 때, 주제 모델 기반 사전이 tf/idf 기반 사전보다 우수한 성능을 보일 수 있는가?
• RQ4 특히 결과 목록의 하위 랭크에서 검색 성능이 얼마나 견고한가?
• RQ5 골드 표준 관련성 레이블이 없는 상황에서 콘도르세 방법을 통한 공통 순위 매기기가 신뢰할 수 있는 가짜 관련 문서 세트를 효과적으로 식별할 수 있는가?

주요 결과

• 유니그램 매칭과 공출현 매칭을 결합하고 α=14로 설정한 최고 성능을 보인 검색 시스템은 주제 모델 기반 사전을 사용하여 평균 평균 정밀도(MAP)가 0.861에 도달했다.
• 공출현 데이터를 포함한 경우 주제 모델 기반 사전을 사용한 시스템은 tf/idf 기반 사전을 사용한 시스템보다 우수했으며, MAP는 각각 0.861과 0.823이었다.
• k단위 정밀도 평가 결과, 최고 성능 시스템의 상위 10개 문서는 정밀도가 1.0이었고, 랭크 501에서도 정밀도가 여전히 높은 0.9를 유지하여 하위 랭크에서도 뛰어난 성능을 보였다.
• 공출현 데이터의 사용은 검색 품질을 크게 향상시켰으며, 유니그램 매칭에만 의존하는 시스템은 낮은 정밀도와 MAP 값을 기록했다.
• 콘도르세 기반의 가짜 관련 문서 선별은 안정적인 54개 문서 세트를 도출했으며, 다양한 시스템 간에 견고한 순위가 유지되어 평가 방법론의 타당성을 입증했다.
• 이 방법은 주제 모델과 공출현 데이터에서 파생된 문맥 기반 사전이 콘텐츠 분석에서 추상적 또는 이론적인 연구 관심사와 일치하는 문서 검색에 효과적임을 입증했다.