[논문 리뷰] Graph-Sparse LDA: A Topic Model with Structured Sparsity

Finale Doshi‐Velez, Byron Wallace외 1명|arXiv (Cornell University)|2014. 10. 16.

Topic Modeling참고 문헌 17인용 수 4

한 줄 요약

Graph-Sparse LDA는 방향 비순환 그래프(DAG) 내의 개념-단어 집합에 대한 분포로 주제를 모델링함으로써 의료 온톨로지나 유전자 경로와 같은 구조화된 어휘를 활용하여 희박하고 해석 가능한 주제를 유도하는 베이지안 비모수 주제 모델이다. 그래프 구조적 관계를 통해 희박성을 이끌어내어, 표준 희박 주제 모델보다 훨씬 더 해석 가능한 주제 요약을 제공하면서도 최신 예측 성능을 확보한다.

ABSTRACT

Originally designed to model text, topic modeling has become a powerful tool for uncovering latent structure in domains including medicine, finance, and vision. The goals for the model vary depending on the application: in some cases, the discovered topics may be used for prediction or some other downstream task. In other cases, the content of the topic itself may be of intrinsic scientific interest. Unfortunately, even using modern sparse techniques, the discovered topics are often difficult to interpret due to the high dimensionality of the underlying space. To improve topic interpretability, we introduce Graph-Sparse LDA, a hierarchical topic model that leverages knowledge of relationships between words (e.g., as encoded by an ontology). In our model, topics are summarized by a few latent concept-words from the underlying graph that explain the observed words. Graph-Sparse LDA recovers sparse, interpretable summaries on two real-world biomedical datasets while matching state-of-the-art prediction performance.

연구 동기 및 목표

• 고차원 주제 모델에서 낮은 해석 가능성 문제를 해결하기 위해, 특히 구조화된 어휘를 갖는 과학 분야에서의 도전에 대응한다.
• 기존의 제어된 어휘—예: ICD9-CM, MeSH, 또는 유전자 경로—를 사전 지식으로 활용하여 주제 탐색을 유도한다.
• 도메인 전문가에게 의미 있는 해석 가능한 개념 기반 주제 요약을 생성하는 주제 모델을 개발한다.
• 예측 성능를 최신 희박 주제 모델과 동일하거나 초월하면서도 해석 가능성을 향상시킨다.
• 그래프 구조를 활용하여 희박하고 고확률 해답을 효율적으로 식별할 수 있는 효율적인 추론 절차를 설계한다.

제안 방법

• 원어 단어가 아닌 DAG로 구조화된 어휘 내의 개념-단어 집합에 대한 분포로 주제를 모델링하는 계층적 주제 모델을 도입한다.
• 그래프 구조에 기반한 노이즈 과정을 사용하여 개념-단어에서 관측된 단어를 생성함으로써, 한 개념이 그 조상과 자손을 모두 설명할 수 있도록 한다.
• 일정한 가능도의 다양체를 따라 이동하는 것을 선호하는 새로운 게비스 샘플링 추론 절차를 사용하여 희박한 해답을 효율적으로 탐색한다.
• 자동으로 주제 수를 탐지할 수 있도록 비모수 베이지안 사전분포(예: 중국 식당 프로세스)를 사용한다.
• 희박성 유도 행렬 P를 통해 그래프 구조를 통합하여, 어떤 관측된 단어가 어떤 개념-단어로부터 생성될 수 있는지를 정의한다.
• 그래프를 통해 주제 분포의 지원을 제약하여, 의미 있는 의미 관계를 가진 개념-단어들만 주제에 기여하도록 보장한다.

실험 결과

연구 질문

• RQ1 의료 온톨로지와 같은 구조화된 어휘를 사용하여 주제 모델의 해석 가능성을 향상시킬 수 있는가, 이때 예측 성능는 손상되지 않는가?
• RQ2 단어 간 그래프 구조적 관계를 어떻게 활용하여 주제 모델의 희박성을 이끌어내되, 데이터 설명 능력을 유지할 수 있는가?
• RQ3 DAG를 통해 도메인 특화 지식을 통합하면, 표준 희박 주제 모델에 비해 발견된 주제의 임상적 또는 과학적 의미가 향상되는가?
• RQ4 관측 데이터와 그래프 구조만을 사용하여 주제 수와 그들의 희박하고 개념 기반의 표현을 효율적으로 탐지할 수 있는가?
• RQ5 제안된 추론 절차는 표준 게비스 샘플링보다 희박하고 해석 가능한 해답을 더 효과적으로 찾는가?

주요 결과

• Graph-Sparse LDA는 자폐 스펙트럼 장애 환자 진단과 MeSH 태그가 부여된 생물의학 초록이라는 두 가지 실제 생물의학 데이터셋에서 최신 예측 성능를 확보하거나 초월하였다.
• Latent IBP Compound Dirichlet Allocation보다 훨씬 더 희박한 주제 기술—단지 몇몇 핵심 개념-단어만을 사용함—을 제공하면서도 데이터 설명 능력은 유지하거나 향상시켰다.
• 자폐 스펙트럼 장애 데이터셋에서 Graph-Sparse LDA는 'Epilepsy'(간질)와 같은 몇몇 고수준 진단 개념을 사용하여 임상적으로 관련이 있는 하위 유형을 회복하였다.
• MeSH 태깅된 초록에서 모델은 알려진 생물의학 주제와 일치하는 간결하고 의미 있는 MeSH 용어의 군집을 식별하여 해석 가능성을 향상시켰다.
• 추론 절차는 일정한 가능도의 다양체를 따라 이동하는 것을 선호함으로써 희박한 해답을 효율적으로 탐색하여 계산 오버헤드를 줄였다.
• 전문가가 정리한 온톨로지를 사전 지식으로 사용할 수 있는 모델의 능력 덕분에, 도메인 전문가에게 해석 가능하고 과학적으로 의미 있는 주제 요약을 제공할 수 있었다.