[논문 리뷰] Hierarchical Dirichlet process for tracking complex topical structure evolution and its application to autism research literature

Adham Beykikhoshk, Ognjen Arandjelović외 2명|arXiv (Cornell University)|2015. 02. 08.

Biomedical Text Mining and Ontologies참고 문헌 2인용 수 9

한 줄 요약

이 논문은 시간에 따라 변화하는 주제를 탐지하고 추적하기 위해 계층형 디리ش레트 프로세스(HDP) 기반의 프레임워크를 제안한다. 시간 이산화된 에포크와 시간적 유사도 그래프를 사용하여 주제의 출현, 진화, 분열, 융합, 소멸을 모델링한다. 1970~2012년 사이 18,000篇 이상의 자폐 스펙트럼 장애(ASD) 관련 논문에 적용된 이 방법은 연구 초점의 동적 이동, 예를 들어 유전학 및 백신 관련 주제의 부상 등을 드러내며, 두 가지 무료 온라인 도구를 통해 의미적 탐색을 가능하게 한다.

ABSTRACT

In this paper we describe a novel framework for the discovery of the topical content of a data corpus, and the tracking of its complex structural changes across the temporal dimension. In contrast to previous work our model does not impose a prior on the rate at which documents are added to the corpus nor does it adopt the Markovian assumption which overly restricts the type of changes that the model can capture. Our key technical contribution is a framework based on (i) discretization of time into epochs, (ii) epoch-wise topic discovery using a hierarchical Dirichlet process-based model, and (iii) a temporal similarity graph which allows for the modelling of complex topic changes: emergence and disappearance, evolution, and splitting and merging. The power of the proposed framework is demonstrated on the medical literature corpus concerned with the autism spectrum disorder (ASD) - an increasingly important research subject of significant social and healthcare importance. In addition to the collected ASD literature corpus which we will make freely available, our contributions also include two free online tools we built as aids to ASD researchers. These can be used for semantically meaningful navigation and searching, as well as knowledge discovery from this large and rapidly growing corpus of literature.

연구 동기 및 목표

• 빠르게 증가하고 시간에 따라 변화하는 생물의학 문헌을 분석하는 데 도전하는 문제를 해결한다. 특히 수작업으로 탐색이 불가능한 자폐 연구 분야에서의 적용을 목표로 한다.
• 정적 주제 모델의 한계를 극복하기 위해 주제의 출현, 분열, 융합, 소멸과 같은 복잡한 시간적 동역학을 탐지할 수 있도록 한다.
• 고정된 주제 수나 마르코프 성질을 가정하지 않는 스케일링 가능하고 비모수적 프레임워크를 개발하여 주제 구조와 진화를 추론한다.
• 연구자들이 18,000편 이상의 ASD 관련 논문으로 구성된 무료 공개 코퍼스와 두 가지 상호작용 가능한 온라인 도구를 통해 의미적 탐색 및 주제 탐색을 수행할 수 있도록 지원한다.

제안 방법

• 문헌의 시간 차원을 겹치는 에포크로 이산화하여 시간 간격 내 국소적 주제 모델링을 가능하게 한다.
• 각 에포크 내에서 계층형 디리슈레트 프로세스(HDP)를 적용하여 사전에 주제 수를 설정하지 않고도 데이터 기반의 자동 주제 수를 도출한다.
• 연속된 에포크 간 주제 분포 간 코사인 기반 유사도를 사용해 상호 주제 유사도 그래프를 구성하여 시간적 관계를 모델링한다.
• 유사도 그래프를 활용해 시간적 동역학을 추론한다: 주제의 출현(초기 등장), 진화(점진적 변화), 분열(한 주제가 여러 주제로 분리), 융합(여러 주제가 하나로 융합), 소멸을 포함한다.
• HDP의 비모수적 성질을 활용해 주제 복잡도를 데이터에 따라 증가 또는 감소시켜 과적합과 주제 변화 속도에 대한 사전 가정 없이 처리한다.
• 프레임워크를 두 가지 공개 웹 도구에 통합한다: 하나는 주제 브라우징과 의미적 검색을 위한 도구이고, 另一个是 주제 진화와 관계를 시각화하기 위한 도구이다.

실험 결과

연구 질문

• RQ1 고정된 주제 수나 마르코프 성질을 가정하지 않고, 종단간 생물의학 문헌 코퍼스에서 주제의 자동 탐지 및 진화 추적은 어떻게 가능할 수 있는가?
• RQ2 42년간의 기간 동안 자폐 문헌에서 주요 시간적 동역학—예를 들어 출현, 분열, 융합, 소멸—은 무엇인가?
• RQ3 제안된 프레임워크는 유전학 및 백신 관련 자폐 연구와 같은 고영향력 주제의 진화를 의미적 및 시간적 정확도로 탐지하고 모델링할 수 있는가?
• RQ4 이 프레임워크는 급격히 증가하는 대규모 과학 문헌에서 복잡한 주제적 구조를 의미 있고 상호작용 가능한 방식으로 탐색하는 데 어느 정도 기여할 수 있는가?

주요 결과

• 프레임워크는 '백신과 자폐' 연구 주제가 1996~2001년에 출현한 것으로 정확히 특정했으며, 이는 웨이크필드 등이 발표한 논란의 논문과 일치한다.
• 논란이 고조된 기간 동안 초기 '백신' 주제가 여러 하위 주제로 분열된 것을 모델이 포착하여 다양한 연구 방향의 변화를 반영했다.
• 프레임워크는 '유전학' 주제가 이전의 개념인 '유아기 자폐'에서 진화한 것을 드러내어 연구 주제의 역사적 연속성을 보여주었다.
• '16p11.2 삭제' 관련 주제는 2000년대에 등장한 것으로 탐지되었으며, 이는 ASD에서 알려진 유전적 발견과 일치한다.
• 과학적 증거가 없음에도 불구하고 공중의 티머살 우려로 인해 이전에 별개였던 주제들—'수은'과 '백신'—이 하나의 진화하는 주제로 융합된 것을 모델이 포착했다.
• 논문의 주장이 철회된 후에도 지속적으로 진화하는 주제들을 식별할 수 있었으며, 예를 들어 '백신' 주제가 수정된 형태로 계속 존재함을 확인했다.