[논문 리뷰] Learning Module Networks

Eran Segal, Dana Pe’er외 3명|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 136

한 줄 요약

이 논문은 동일한 조건부 의존 구조를 가진 변수들을 모듈로 묶는 모듈 네트워크를 소개한다. 이는 고차원 도메인에서의 효율적인 구조 학습을 가능하게 한다. 모듈 분할과 네트워크 구조를 함께 학습함으로써 일반화 능력이 향상되고, 유전자 발현 데이터와 주식 시장 데이터에서 기존 베이지안 네트워크보다 숨겨진 규칙성을 드러낸다.

ABSTRACT

Methods for learning Bayesian network structure can discover dependency structure between observed variables, and have been shown to be useful in many applications. However, in domains that involve a large number of variables, the space of possible network structures is enormous, making it difficult, for both computational and statistical reasons, to identify a good model. In this paper, we consider a solution to this problem, suitable for domains where many variables have similar behavior. Our method is based on a new class of models, which we call module networks. A module network explicitly represents the notion of a module - a set of variables that have the same parents in the network and share the same conditional probability distribution. We define the semantics of module networks, and describe an algorithm that learns a module network from data. The algorithm learns both the partitioning of the variables into modules and the dependency structure between the variables. We evaluate our algorithm on synthetic data, and on real data in the domains of gene expression and the stock market. Our results show that module networks generalize better than Bayesian networks, and that the learned module network structure reveals regularities that are obscured in learned Bayesian networks.

연구 동기 및 목표

• 고차원 도메인에서 변수가 많을 때 발생하는 계산 및 통계적 과제를 해결하기 위해.
• 같은 부모와 조건부 확률 분포를 공유하는 변수 그룹(모듈)을 식별하여 복잡한 데이터에서 숨겨진 규칙성을 발견하기 위해.
• 데이터로부터 모듈 분할과 네트워크 구조를 함께 추론하는 확장 가능한 학습 알고리즘을 개발하기 위해.
• 실제 응용에서 기존 베이지안 네트워크에 비해 모델의 일반화 능력과 해석 가능성 향상을 위해.

제안 방법

• 모듈 네트워크를 새로운 확률적 그래픽 모델 클래스로 도입하여, 동일한 부모와 조건부 분포를 가진 변수 집합(모듈)을 명시적으로 표현한다.
• 모듈별 조건부 확률 표를 기반으로 인수 분해되는 공동 확률 분포를 사용해 모듈 네트워크의 의미를 정의한다.
• 모듈 할당을 개선하고 점수 기반 탐색을 사용해 네트워크 구조를 최적화하는 학습 알고리즘을 개발한다.
• 모델 적합도와 복잡도 사이의 균형을 맞추는 점수 함수를 사용하여 과적합을 줄이는 모듈 구조를 선호한다.
• 모듈 분할과 네트워크 구조의 공동 공간을 효율적으로 탐색하기 위해 탐욕적 탐색 전략을 적용한다.
• 성능 평가를 위해 합성 데이터와 유전체학 및 금융 분야의 실제 데이터셋에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 제한된 표본 수가 있는 고차원 데이터에서 모듈 네트워크가 구조와 모듈 분할을 효과적으로 학습할 수 있는가?
• RQ2 일반화 능력과 모델 정확도 측면에서 표준 베이지안 네트워크 학습에 비해 모듈 네트워크 접근법은 어떻게 비교되는가?
• RQ3 변수 그룹 간의 공통된 조건부 의존성을 식별함으로써 데이터에서 드러나는 규칙성은 어떤 것인가?
• RQ4 모듈과 구조를 함께 학습하는 것이 구조만 별도로 학습하는 것보다 더 해석 가능하고 강건한 모델을 만들어내는가?

주요 결과

• 모듈 네트워크는 합성 데이터와 실제 데이터셋 모두에서 표준 베이지안 네트워크보다 유의미하게 더 잘 일반화된다. 특히 고차원 설정에서 두드러진다.
• 유전자 발현 데이터에서 학습된 모듈 네트워크는 표준 베이지안 네트워크에서 가려졌던 생물학적으로 의미 있는 조절 모듈을 드러냈다.
• 주식 시장 데이터에서는 유사한 의존성 패턴을 보이는 일관된 주식 그룹을 식별하여 잠재적 시장 제도를 드러냈다.
• 합성 데이터셋에서 조건부 표본 수가 중간 수준이어도 진짜 기반 모듈 구조를 높은 정확도로 복원했다.
• 모듈과 구조를 함께 학습하는 것이 모듈 할당이나 구조를 먼저 고정하는 순차적 접근법보다 성능이 뛰어나다.