[논문 리뷰] uGLAD: Sparse graph recovery by optimizing deep unrolled networks

Harsh Shrivastava, Urszula Chajewska외 2명|arXiv (Cornell University)|2022. 05. 23.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

uGLAD는 미분 가능한 그래픽 라소 목적함수를 최적화하여 비순차적 딥 언롤드 네트워크를 제안하며, 신경망을 통해 자동으로 적응형 정규화 파라미터를 학습합니다. 이는 합성 가우시안, 비가우시안 유전자 조절 네트워크 및 혐기성 소화 데이터에서 최신 기법들을 능가하며, 다중 작업 공감 전략을 통해 결측 데이터에 대해 강건한 성능을 보입니다.

ABSTRACT

Probabilistic Graphical Models (PGMs) are generative models of complex systems. They rely on conditional independence assumptions between variables to learn sparse representations which can be visualized in a form of a graph. Such models are used for domain exploration and structure discovery in poorly understood domains. This work introduces a novel technique to perform sparse graph recovery by optimizing deep unrolled networks. Assuming that the input data $X\in\mathbb{R}^{M imes D}$ comes from an underlying multivariate Gaussian distribution, we apply a deep model on $X$ that outputs the precision matrix $\hatΘ$, which can also be interpreted as the adjacency matrix. Our model, uGLAD, builds upon and extends the state-of-the-art model GLAD to the unsupervised setting. The key benefits of our model are (1) uGLAD automatically optimizes sparsity-related regularization parameters leading to better performance than existing algorithms. (2) We introduce multi-task learning based `consensus' strategy for robust handling of missing data in an unsupervised setting. We evaluate model results on synthetic Gaussian data, non-Gaussian data generated from Gene Regulatory Networks, and present a case study in anaerobic digestion.

연구 동기 및 목표

• 유전체학 및 환경 시스템과 같은 실제 도메인에서 흔히 발생하는 고차원, 고노이즈, 결측 데이터 환경에서의 희박 그래프 복구 과제를 해결하기 위해.
• 정밀도 행렬의 모든 항목에 대해 단일한 수작업으로 조정된 정규화 파라미터에 의존하는 전통적인 그래픽 라소 방법의 한계를 극복하기 위해.
• 희소성 정규화와 그래프 구조 학습을 비순차적으로 동시에 최적화할 수 있는 엔드 투 엔드로 미분 가능한 프레임워크를 개발하기 위해.
• 다양한 샘플 간의 공통된 구조를 활용하여 결측 데이터에 대한 강건한 처리를 가능하게 하는 다중 작업 공감 전략을 통해 결측 데이터를 효과적으로 다루기 위해.
• 시스템 생물학 및 금융 모델링과 같은 다양한 도메인으로 일반화 가능한 GPU 가속 기반의 확장 가능한 딥 러닝 솔루션을 제공하기 위해.

제안 방법

• uGLAD는 보조 변수 Z를 사용하여 그래픽 라소 목적함수를 재구성함으로써 정밀도 행렬 Θ와 ℓ₁ 정규화를 분리하여, 미분 가능한 최적화를 가능하게 하였습니다.
• 각 반복 단계를 순환 유닛(GLADcell)으로 모델링한 미분 가능한 언롤드 최적화 루프를 도입하여, 시간에 따라 역전파를 통해 모델 파라미터를 학습할 수 있도록 하였습니다.
• 희소성 정규화는 신경망을 통해 예측된 항목별 정규화 가중치 ρ_ij로 매개변수화되어, 정밀도 행렬 전역에서 데이터 의존적인 희소성 정규화를 가능하게 하였습니다.
• 다중 작업 학습 전략을 통해 샘플 배치 전체를 동시에 최적화하며, 샘플 간 그래프 구조의 일치를 장려하는 '공감' 손실을 도입하여 결측 데이터에 대한 강건성을 향상시켰습니다.
• 최적화 과정에서 정밀도 행렬의 정정규성(positive-definiteness)을 유지하기 위해, 미분 가능한 슈어 여부를 기반으로 한 업데이트 규칙을 사용하였습니다.
• 모델는 재구성된 목적함수를 사용해 엔드 투 엔드로 훈련되며, 다음과 같은 형태입니다: 최소화 -log(det Θ) + tr(Σ̂Θ) + ρ‖Z‖₁ + (1/2)λ‖Z - Θ‖²_F, Θ와 Z는 역전파를 통해 업데이트됩니다.

실험 결과

연구 질문

• RQ1 비순차적 딥 언롤드 네트워크는 수작업 조정 없이도 최적의 적응형 정규화 파라미터를 자동으로 학습할 수 있는가?
• RQ2 uGLAD는 합성 및 실세계 비가우시안 데이터에서 전통적인 그래픽 라소 및 감독형 GLAD와 비교해 어떻게 성능을 내는가?
• RQ3 uGLAD는 다중 작업 공감 전략을 통해 비순차적 환경에서 얼마나 효과적으로 결측 데이터를 처리할 수 있는가?
• RQ4 비순차적 아키텍처에서 엔드 투 엔드로 미분 가능한 최적화가 기존의 볼록 솔버보다 더 높은 복구 정확도와 샘플 효율성을 제공하는가?
• RQ5 uGLAD는 혐기성 소화 및 유전자 조절 네트워크와 같은 실세계 도메인에 효과적으로 적용되어 생물학적 통찰을 도출할 수 있는가?

주요 결과

• uGLAD는 합성 가우시안 데이터에서 표준 그래픽 라소 및 감독형 GLAD 모델보다 유의미하게 뛰어난 성능을 보이며, 정밀도 행렬 복구에서 더 높은 F1 점수와 낮은 추정 오차를 달성합니다.
• 유전자 조절 네트워크에서 생성된 비가우시안 데이터에서 uGLAD는 기준 모델들보다 더 높은 진짜 양성률과 낮은 거짓 탐지 비율로 그래프 구조를 복구합니다.
• 혐기성 소화 사례 연구에서 uGLAD는 중온성 및 고온성 소화기 네트워크 간의 공통 엣지를 성공적으로 식별하였으며, 조건 의존적 상관관계를 드러내어 도메인 전문가가 미생물 상호작용에 대해 가설을 세울 수 있도록 하였습니다.
• 다중 작업 공감 전략은 결측 데이터 하에서 성능 저하를 효과적으로 완화하여, 최대 30%의 항목이 결측된 경우에도 높은 그래프 복구 정확도를 유지합니다.
• GPU 가속 훈련과 미분 가능한 최적화 덕분에 uGLAD는 대규모 문제에서 더 빠른 수렴 속도와 향상된 확장성을 확보하였으며, 고차원 데이터셋에서 기존 솔버보다 런타임 효율성이 뛰어납니다.
• 모델이 적응형 정규화 가중치를 학습할 수 있는 능력은 특히 표본 수가 적은 영역에서 표준 라소가 실패하는 상황에서도 더 낮은 샘플 복잡도와 강건성을 향상시킵니다.