[논문 리뷰] Learning Graphical Models With Hubs

Kean Ming Tan, Palma London외 4명|arXiv (Cornell University)|2014. 02. 28.

Machine Learning and Algorithms참고 문헌 55인용 수 49

한 줄 요약

이 논문은 허브 노드(다수의 다른 노드와 밀접하게 연결된 노드)를 가진 고차원 그래픽 모델을 학습하기 위해 행-열 겹침 노름 페널티를 사용하는 볼록 최적화 프레임워크를 제안한다. 이는 모든 간선이 동일하게 유사도가 높고 상호 독립적이라는 가정을 하는 표준 $λ_1$-페널티 방법보다 성능이 뛰어나다. 이 방법은 ADMM를 통해 가우시안, 공분산, 이징 그래픽 모델에 적용되었으며, 합성 데이터와 실세계 데이터(유전자 발현 및 웹페이지 데이터셋 포함)에서 높은 정확도를 보였다.

ABSTRACT

We consider the problem of learning a high-dimensional graphical model in which certain hub nodes are highly-connected to many other nodes. Many authors have studied the use of an l1 penalty in order to learn a sparse graph in high-dimensional setting. However, the l1 penalty implicitly assumes that each edge is equally likely and independent of all other edges. We propose a general framework to accommodate more realistic networks with hub nodes, using a convex formulation that involves a row-column overlap norm penalty. We apply this general framework to three widely-used probabilistic graphical models: the Gaussian graphical model, the covariance graph model, and the binary Ising model. An alternating direction method of multipliers algorithm is used to solve the corresponding convex optimization problems. On synthetic data, we demonstrate that our proposed framework outperforms competitors that do not explicitly model hub nodes. We illustrate our proposal on a webpage data set and a gene expression data set.

연구 동기 및 목표

• 표준 $λ_1$-페널티 그래픽 모델의 한계를 해결하기 위해, 모든 간선이 동일하게 가능성 있고 상호 독립적이라는 가정이 허브 노드를 가진 네트워크에서는 성능이 열 劣하기 때문에, 이러한 문제를 해결하고자 한다.
• 특정 노드(허브)가 많은 연결을 가지며 다른 노드는 희박한 연결을 가지는 패턴을 유도하기 위해 행-열 겹침 노름 페널티를 활용하여 허브 노드를 명시적으로 모델링하는 일반적인 볼록 프레임워크를 개발하고자 한다.
• 가우시안 그래픽 모델, 공분산 그래프 모델, 이진 이징 모델의 널리 사용되는 세 가지 그래픽 모델에 이 프레임워크를 확장하고자 한다.
• 결과로 생기는 볼록 최적화 문제를 해결하기 위해 대안 방식의 다중변수 방법(ADMM)을 사용한 효율적인 알고리즘 솔루션을 제공하고자 한다.

제안 방법

• 이 방법은 그래픽 모델 추정 문제에 행-열 겹침 노름 페널티를 도입하여, 특정 노드(허브)가 많은 연결을 가지며 다른 노드는 희박한 연결을 가지는 패턴을 유도한다.
• 가우시안, 공분산, 이징 모델 각각에 대해, 겹침 노름 페널티를 포함한 볼록 프로그램으로 최적화 문제를 설정함으로써 허브 노드 탐지가 가능해진다.
• 결과로 생긴 볼록 최적화 문제를 해결하기 위해 ADMM 알고리즘이 사용되며, 변수 분할과 이중 상승을 통해 문제를 하위 문제로 분해하고 반복적으로 해결한다.
• 이진 이징 모델의 경우, 정밀도 행렬 $Θ$를 갱신하는 ADMM 하위 문제는 적응적 스텝 사이즈를 갖는 준뉴턴 경사하강 기법인 바르지라이-보르웨인 방법을 사용하여 해결된다.
• 계산 효율성을 높이기 위해 일부 경우에 블록 대각 행렬 구조를 가정하지만, 결과는 이 가정 없이 제시된다.
• 이 방법은 확장 가능하며, 표준 랩탑에서도 $p=300$일지라도 몇 분 이내에 실행 시간을 갖는다. 수렴은 반복값의 상대적 변화를 통해 모니터링된다.

실험 결과

연구 질문

• RQ1 표준 $λ_1$-페널티 방법에 비해 허브 노드를 명시적으로 모델링하는 볼록 최적화 프레임워크가 고차원 설정에서 그래픽 모델 추정 성능을 향상시킬 수 있는가?
• RQ2 행-열 겹침 노름 페널티는 유전자 조절 네트워크나 웹페이지와 같은 실세계 네트워크에서 허브 구조를 얼마나 잘 포착하는가?
• RQ3 고차원 표본에서 다양한 그래픽 모델(가우시안, 공분산, 이징)에 대해 제안된 방법이 추정 정확도를 유지하거나 향상시키는가?
• RQ4 ADMM 기반 알고리즘이 큰 $p$에 대해 수렴 속도와 계산 확장성 측면에서 얼마나 효율적인가?
• RQ5 유전자 조절 네트워크에서 관찰되는 바와 같이, 몇 개의 유전자가 수백 개의 유전자를 조절하는 초허브 구조를 탐지할 수 있는가?

주요 결과

• 합성 데이터에서 제안된 허브 정규화 방법은 허브 노드가 존재할 경우, 표준 $λ_1$-페널티 경쟁 방법보다 진성 양성도 및 ROC 곡선 아래 면적 측면에서 뚜렷이 뛰어난 성능을 보였다.
• 웹페이지 데이터셋에서 이 방법은 알려진 허브 역할을 하는 웹페이지를 추론된 네트워크의 중심 노드로 성공적으로 복원하였다.
• 유전자 발현 데이터셋에서 이 방법은 알려진 초허브 유전자(예: 수백 개의 후속 유전자를 조절하는 유전자)를 탐지하여 생물학적으로 타당한 결과를 확인하였다.
• ADMM 알고리즘은 효율적으로 수렴하며, 블록 대각 구조 가정 없이도 $p=300$일지라도 몇 분 이내에 실행 시간을 갖는다. 이는 확장성의 증거이다.
• 이징 모델 하위 문제에서 $Θ$를 갱신하기 위한 바르지라이-보르웨인 방법은 안정적인 수렴을 보였으며, 반복값의 상대적 변화가 임계값 이하로 떨어질 때 알고리즘이 종료되었다.