[논문 리뷰] Learning Scale-Free Networks by Dynamic Node-Specific Degree Prior

Qingming Tang, Siqi Sun외 1명|arXiv (Cornell University)|2015. 03. 07.

Face and Expression Recognition참고 문헌 19인용 수 13

한 줄 요약

이 논문은 노드의 차수 추정과 간선 강도 순위를 가우시안 그래픽 모델(GGM) 프레임워크에 통합하여 스케일프리 네트워크를 학습하기 위한 동적 노드별 차수 사전정보를 제안한다. 새로운 ADMM 기반 최적화를 통해 기존 방법들—$l_1$-정규화된 GGM, 허브 유도 사전정보, 재가중 $l_1$—보다 뚜렷하게 향상된 간선 예측 정확도를 달성하며, 특히 실제 유전자 발현 데이터에서 뛰어난 성능을 보이며, 힘의 법칙 차수 분포를 유지한다.

ABSTRACT

Learning the network structure underlying data is an important problem in machine learning. This paper introduces a novel prior to study the inference of scale-free networks, which are widely used to model social and biological networks. The prior not only favors a desirable global node degree distribution, but also takes into consideration the relative strength of all the possible edges adjacent to the same node and the estimated degree of each individual node. To fulfill this, ranking is incorporated into the prior, which makes the problem challenging to solve. We employ an ADMM (alternating direction method of multipliers) framework to solve the Gaussian Graphical model regularized by this prior. Our experiments on both synthetic and real data show that our prior not only yields a scale-free network, but also produces many more correctly predicted edges than the others such as the scale-free inducing prior, the hub-inducing prior and the $l_1$ norm.

연구 동기 및 목표

• 표준 $l_1$-정규화된 가우시안 그래픽 모델의 한계를 해결하기 위해, 간선의 가능성에 균일한 가정을 내포하고 있으며 스케일프리 네트워크 구조를 포착하지 못하는 문제를 해결한다.
• 전반적인 힘의 법칙 차수 분포와 상대적인 간선 강도 인식을 갖춘 개별 노드의 차수 추정을 동시에 촉진하는 차수 사전정보를 개발한다.
• 간선 무게의 순위 기반 추정을 통해 노드의 차수를 동적으로 모델링하여 실제 네트워크의 허브 행동을 더 잘 반영한다.
• 동적 차수 추정과 순위 제약 조건으로 인해 발생하는 비볼록적이고 어려운 최적화 문제를 새로운 ADMM 알고리즘으로 해결한다.
• 합성 스케일프리 네트워크와 실제 생물학적 네트워크, 특히 DREAM5 챌린지 데이터셋을 대상으로 방법을 검증한다.

제안 방법

• 노드의 추정 차수와 상대적 간선 강도 순위를 결합하여 네트워크 구조 학습을 이끄는 노드별 차수 사전정보를 제안한다.
• 절대 간선 무게 $|X_{i,(u)}|$ 의 순열을 통한 순위 기반 동적 추정을 통해 노드의 상대 연결 강도를 반영한다.
• 음의 로그우도와 순위 기반 간선 크기에 의존하는 노드별 차수 사전정보를 결합한 새로운 목적함수를 도입한다.
• 동적 차수 추정과 순위 제약 조건으로 인해 발생하는 비볼록 최적화 문제를 해결하기 위해 맞춤형 ADMM 절차를 활용한다.
• 정밀행렬 $X$ 의 영 패턴에 의해 그래프 구조가 표현되는 가우시안 그래픽 모델 프레임워크 내에서 방법을 적용한다.
• 서브모듈라 차수 함수를 근사하기 위해 Lovász 확장을 사용하여 전역 차수 분포 제약 조건의 볼록 근사를 가능하게 한다.

실험 결과

연구 질문

• RQ1 동적이고 노드별인 차수 사전정보는 정적 또는 전역 사전정보를 초월하여 스케일프리 네트워크 추론을 향상시킬 수 있는가?
• RQ2 각 노드별 상대적 간선 강도 순위를 통합할 경우 네트워크 구조 복원 정확도에 어떤 영향을 미치는가?
• RQ3 동적 순위를 포함한 비볼록 최적화 문제는 새로운 ADMM 프레임워크를 통해 효과적으로 해결될 수 있는가?
• RQ4 제안된 방법은 실제 생물학적 네트워크에서 진짜 간선을 예측하는 데 있어 표준 $l_1$-정규화된 GGM과 허브 유도 사전정보를 초월하는가?
• RQ5 추정된 네트워크가 합성 및 실제 세계 설정에서 힘의 법칙 차수 분포를 어느 정도 유지하는가?

주요 결과

• DREAM5 데이터셋 3(4511개 유전자, 3902개 진짜 간선)에서 제안된 DNS 방법은 Glasso, RW 및 기타 기준선보다 뚜렷하게 높은 간선 예측 정확도를 달성하였으며, 특히 높은 간선 수에서 두드러진 성능을 보였다.
• 4000개의 간선을 생성하도록 제약된 조건에서 DNS로 추정된 네트워크의 차수 분포는 진짜 스케일프리 힘의 법칙 패턴과 밀접하게 일치했으며, Glasso는 이 분포를 유지하지 못했다.
• DREAM5 데이터셋 4(5950개 유전자, 3940개 진짜 간선)에서 약 19,000개의 간선을 예측할 때, DNS는 Glasso보다 약 두 배 더 많은 정확한 간선(18개 대비 9개)을 예측했으며, 전체적으로는 모든 방법이 열악한 성능을 보였음에도 불구하고.
• 허브 네트워크 시뮬레이션에서, DNS는 네트워크가 엄밀히 스케일프리가 아니었음에도 불구하고 모든 기준선보다 더 많은 정확한 간선을 예측하여 비이상적인 차수 분포에 대한 강건성을 입증했다.
• 로그-로그 차수 분포도는 DNS와 RW가 모두 힘의 법칙 행동을 보이며, Glasso는 그렇지 않음을 확인하여, 방법이 스케일프리 구조를 유도하는 능력을 검증했다.
• 동적 순위 기반 차수 사전정보는 고차수 노드가 올바르게 허브로 식별된 시각화 결과(1643개 노드 네트워크 기준)를 통해 허브 노드의 더 정확한 표현을 이끌어냈다.