[논문 리뷰] A Convex Formulation for Learning Scale-Free Networks via Submodular Relaxation

Aaron Defazio, Tibério S. Caetano|arXiv (Cornell University)|2014. 07. 10.

Statistical Methods and Inference참고 문헌 19인용 수 23

한 줄 요약

이 논문은 정도 분포를 모델링하기 위해 하위모듈러 함수를 활용하고, 라브라스 확장(Lovász extension)을 통해 볼록 relaxation을 적용함으로써, 스케일프리 네트워크 학습을 위한 볼록 최적화 프레임워크를 제안한다. 기존 비볼록 방법에 비해 합성 데이터 및 실제 생물학적 데이터에서 스케일프리 구조를 더 정확하게 복원함으로써 성능 향상을 달성한다.

ABSTRACT

A key problem in statistics and machine learning is the determination of network structure from data. We consider the case where the structure of the graph to be reconstructed is known to be scale-free. We show that in such cases it is natural to formulate structured sparsity inducing priors using submodular functions, and we use their Lovász extension to obtain a convex relaxation. For tractable classes such as Gaussian graphical models, this leads to a convex optimization problem that can be efficiently solved. We show that our method results in an improvement in the accuracy of reconstructed networks for synthetic data. We also show how our prior encourages scale-free reconstructions on a bioinfomatics dataset.

연구 동기 및 목표

• 데이터로부터 스케일프리 네트워크 구조를 학습하는 데 있어 희소성과 알려진 위상적 성질(예: 등급 분포의 파워 라이드 분포)이 중요한 경우에 이를 해결하는 것.
• 특히 가우시안 그래픽 모델에서 스케일프리 위상 구조를 명시적으로 장려하는 구조적 희소성 사전을 개발하는 것.
• 비볼록 하위모듈러 사전을 효율적인 최적화가 가능한 볼록 대체로 근사화하는 볼록 리레거션 기법을 제공함으로써 안정적이고 효율적인 추론을 가능하게 하는 것.
• 제안된 방법이 합성 및 실제 데이터 세트에서 기존 비볼록 접근법에 비해 스케일프리 네트워크 복원 성능에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 정도 분포에서 유도된 하위모듈러 함수를 사용하여 네트워크 구조에 대한 사전을 수립함으로써 스케일프리 성질을 자연스럽게 모델링한다.
• 비볼록 하위모듈러 사전을 볼록 대체로 변환하기 위해 라브라스 확장을 적용하여 효율적인 최적화를 가능하게 한다.
• 비가속도 가능하고 하위모듈러 정규화를 포함한 볼록 최적화 문제를 해결하기 위해 프록시멀 방법, 특히 이중 분해 기법을 사용한다.
• 볼록 사전을 사용한 최대 a posteriori (MAP) 추정을 통해 데이터로부터 희소하고 스케일프리 그래픽 모델을 학습한다.
• 고차원 데이터(예: 유전자 발현 네트워크)에 적합한 희소 공분산 선택 프레임워크에 이 방법을 통합한다.
• 정규화 강도를 튜닝하고 프록시멀 연산자를 사용하여 학습된 그래프의 희소성와 스케일프리 구조 간의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 하위모듈러 함수를 사용하여 스케일프리 네트워크 정도 분포를 모델링할 수 있으며, 이로 인해 구조 학습을 위한 볼록 최적화가 가능해지는가?
• RQ2 라브라스 확장을 통한 볼록 리레거션은 스케일프리 네트워크 복원에서 비볼록 공식화에 비해 정확도와 수렴성 측면에서 어떻게 비교되는가?
• RQ3 기존의 L1-정규화된 공분산 선택에 비해 제안된 방법은 합성 스케일프리 네트워크에서 복원 정확도를 향상시키는가?
• RQ4 이 방법은 실제 생물학적 네트워크(예: 유전자 공발현 네트워크)에서 스케일프리 위상 구조를 효과적으로 복원할 수 있는가?
• RQ5 하위모듈러 정규화를 포함한 볼록 비가속도 문제를 해결하는 데 가장 효율적인 최적화 기법은 무엇인가?

주요 결과

• 제안된 볼록 공식화는 기존 비볼록 방법에 비해 합성 데이터에서 스케일프리 네트워크 복원 정확도가 더 높게 달성되었다.
• GDS1429 유전자 발현 데이터셋에서, L1 방법과 달리 메인 허브(예: 유전자 60)가 더 명확하게 드러나는 스케일프리 위상 구조를 가진 네트워크를 생성하였다.
• 프록시멀 연산자 계산에 대해 이중 분해 방법이 서브기울기 강하법 또는 최소 노름 점(MNP) 알고리즘보다 훨씬 더 빠른 수렴을 보였다.
• 100노드 BA 모델에서 각 실행당 5.0초가 소요된 하위모듈러 리레거션 방법은 재가중 L1 방법의 16초 대비 뛰어난 효율성을 보였다. 이는 유사한 정확도를 유지하면서도 더 효율적임을 시사한다.
• 표준 L1 방법은 더 빠르게(0.72초) 수행되었지만, 복원 정확도가 낮아 속도와 위상 적합성 간의 상충 관계를 잘 보여주었다.
• 실제 생물학적 데이터에서 시각적 점검을 통해 이 방법이 스케일프리 정도 분포를 효과적으로 장려하는 것으로 확인되었다.