[논문 리뷰] Template Based Inference in Symmetric Relational Markov Random Fields

Ariel Jaimovich, Ofer Meshi외 1명|arXiv (Cornell University)|2012. 06. 20.

Bioinformatics and Genomic Networks참고 문헌 21인용 수 41

한 줄 요약

이 논문은 대칭적 상관관계 마르코프 무작위 필드(MRF)를 위한 템플릿 기반 추론 방법을 소개한다. 이 방법은 추론 복잡도를 도메인 크기에서 모델 크기로 줄여 효율적인 학습을 가능하게 한다. 내재된 대칭성을 활용함으로써, 동기식 루프 없는 믿음 전파와 수학적으로 동일한 템플릿 수준의 믿음 전파를 사용하여 대규모 단백질-단백질 상호작용 네트워크의 학습에서 뚜렷한 속도 향상을 이룬다.

ABSTRACT

Relational Markov Random Fields are a general and flexible framework for reasoning about the joint distribution over attributes of a large number of interacting entities. The main computational difficulty in learning such models is inference. Even when dealing with complete data, where one can summarize a large domain by sufficient statistics, learning requires one to compute the expectation of the sufficient statistics given different parameter choices. The typical solution to this problem is to resort to approximate inference procedures, such as loopy belief propagation. Although these procedures are quite efficient, they still require computation that is on the order of the number of interactions (or features) in the model. When learning a large relational model over a complex domain, even such approximations require unrealistic running time. In this paper we show that for a particular class of relational MRFs, which have inherent symmetry, we can perform the inference needed for learning procedures using a template-level belief propagation. This procedure's running time is proportional to the size of the relational model rather than the size of the domain. Moreover, we show that this computational procedure is equivalent to sychronous loopy belief propagation. This enables a dramatic speedup in inference and learning time. We use this procedure to learn relational MRFs for capturing the joint distribution of large protein-protein interaction networks.

연구 동기 및 목표

• 학습 과정에서 대규모 상관관계 MRF에서의 추론에 대한 높은 계산 비용을 해결하기 위해.
• 상관관계 MRF에 내재된 대칭성을 활용하여 추론 복잡도를 낮추기 위해.
• 개별 인스턴스가 아닌 템플릿을 기반으로 작동하는 확장 가능한 추론 방법을 개발하기 위해.
• 단백질-단백질 상호작용 네트워크와 같은 큰 도메인에서 상관관계 MRF의 실용적 학습을 가능하게 하기 위해.
• 템플릿 기반 추론이 동기식 루프 없는 믿음 전파와 동일하며, 정확성을 유지하면서 효율성을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 대칭적 구조를 가진 상관관계 MRF 프레임워크를 사용하며, 상호작용은 개별 엔티티가 아닌 템플릿을 통해 정의된다.
• 메시지가 개별 노드가 아닌 상관관계 템플릿을 통해 전달되는 템플릿 수준의 믿음 전파를 도입한다.
• 도메인 전반의 대칭성을 포괄하는 압축 표현을 사용하여 충분 통계의 기대값을 계산한다.
• 절차는 동기식 루프 없는 믿음 전파와 수학적으로 동일하며, 수렴 성질을 유지한다.
• 관계 모델의 템플릿 구조에서 유도된 단순화된 요소 그래프를 기반으로 추론을 수행한다.
• 대칭적 상호작용을 집계하여 재사용 가능한 계산 단위로 만들음으로써 개별 인스턴스 계산을 피한다.

실험 결과

연구 질문

• RQ1 구조적 대칭성을 활용하여 대칭적 상관관계 MRF에서의 추론을 가속화할 수 있는가?
• RQ2 대칭 모델에서 템플릿 수준의 믿음 전파가 표준 루프 없는 믿음 전파와 동일한가?
• RQ3 제안된 방법이 단백질-단백질 상호작용 네트워크와 같은 대규모 상관관계 모델의 확장 가능한 학습을 가능하게 하는가?
• RQ4 대칭적 상관관계 MRF에서 추론의 계산 복잡도를 도메인 크기에서 모델 크기로 줄일 수 있는가?
• RQ5 대규모 상관관계 모델에서 표준 근사 추론 대비 템플릿 기반 추론의 성능 향상은 어떠한가?

주요 결과

• 템플릿 기반 추론은 도메인 크기에서 관계 모델 크기로 계산을 줄여 극적인 속도 향상을 이룬다.
• 이 방법은 동기식 루프 없는 믿음 전파와 수학적으로 동일하여 정확성을 유지하면서 효율성을 향상시킨다.
• 이 방법은 이전에는 비현실적이었을 정도로 큰 단백질-단백질 상호작용 네트워크에서 상관관계 MRF의 실용적 학습을 가능하게 한다.
• 추론 복잡도는 도메인 내 엔티티의 수가 아닌 템플릿과 관계의 수에 따라 스케일링된다.
• 표준 루프 없는 믿음 전파와 동일한 수렴 행동을 유지하지만, 실행 시간이 크게 감소한다.
• 실험 결과는 템플릿 기반 접근이 대규모 상관관계 학습 작업에서 확장 가능하고 정확하다는 것을 보여준다.