[논문 리뷰] GLAD: Learning Sparse Graph Recovery

Harsh Shrivastava, Xinshi Chen외 5명|arXiv (Cornell University)|2019. 06. 01.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 3

한 줄 요약

GLAD는 희소 정밀행렬 추정을 위한 엔트리별 정규화를 학습하기 위해 전개된 교대최소화(AM) 알고리즘을 인덕티브 바이어스로 사용하는 딥러닝 프레임워크를 제안한다. 합성 데이터로 훈련된 GLAD는 희소 그래프 복원에서 뛰어난 성능을 보이며, 실제 E. coli 유전자 조절 네트워크 데이터에서 AUC 0.572를 기록하여 표본 수가 적고 더 큰, 미리보지 않은 그래프로의 일반화 능력이 뛰어나 전산 최적화 기반 방법들을 능가한다.

ABSTRACT

Recovering sparse conditional independence graphs from data is a fundamental problem in machine learning with wide applications. A popular formulation of the problem is an $\ell_1$ regularized maximum likelihood estimation. Many convex optimization algorithms have been designed to solve this formulation to recover the graph structure. Recently, there is a surge of interest to learn algorithms directly based on data, and in this case, learn to map empirical covariance to the sparse precision matrix. However, it is a challenging task in this case, since the symmetric positive definiteness (SPD) and sparsity of the matrix are not easy to enforce in learned algorithms, and a direct mapping from data to precision matrix may contain many parameters. We propose a deep learning architecture, GLAD, which uses an Alternating Minimization (AM) algorithm as our model inductive bias, and learns the model parameters via supervised learning. We show that GLAD learns a very compact and effective model for recovering sparse graphs from data.

연구 동기 및 목표

• 희소 그래프 복원에서 고정된 정규화와 초파rameter 조정에 민감한 전산 최적화 방법의 한계를 해결하기 위해.
• 구조적 패턴을 문제 인스턴스 간 공유함으로써 경험 공분산 행렬에서 희소 정밀행렬로 매핑하는 데이터 기반 알고리즘을 설계하기 위해.
• 명시적 제약 조건이나 큰 파라미터 수에 의존하지 않고도 학습된 모델의 희소성와 정정규성(positive definiteness)을 강제하기 위해.
• 고차원 데이터에서 희소 조건부 인성 그래프를 복원할 때 표본 효율성과 일반화 능력을 향상시키기 위해.
• 효율적인 근사 기법과 분산 계산을 통해 큰 그래프로의 확장 가능성을 확보하기 위해.

제안 방법

• GLAD는 각 최적화 단계를 학습 가능한 모듈로 모델링하는 전개된 교대최소화(AM) 알고리즘을 인덕티브 바이어스로 사용한다.
• 정규화 및 제곱 페널티 항은 중간 해의 엔트리별 함수로 파arameter화되어, 적응형이며 데이터 기반의 업데이트를 가능하게 한다.
• 모델은 합성 문제 인스턴스를 사용해 지도 학습 방식으로 훈련되며, 정답 정밀행렬을 타겟으로 삼는다.
• 아키텍처는 역전파를 통해 엔드 투 엔드로 훈련되어 표본 공분산 행렬에서 희소하고 대칭이며 정정규성 있는 정밀행렬로 매핑하는 것을 학습한다.
• 대규모 추론을 위해 GLAD는 계산 비용을 줄이기 위해 무작위 행렬 근사 기법(예: CUR 및 길이 제곱 샘플링)을 통합한다.
• 가벼운 학습된 네트워크를 프로세서 간에 복제함으로써 분산 배포를 지원하여 대규모 그래프에서의 확장 가능한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 기반 알고리즘이 기존의 전산 최적화 방법보다 희소 조건부 인성 그래프를 더 효과적으로 복원할 수 있는가?
• RQ2 학습 분포를 벗어난 새로운 그래프 구조와 더 큰 문제 크기로의 일반화 능력은 얼마나 우수한가?
• RQ3 딥러닝을 통해 학습된 엔트리별 정규화가 희소 정밀행렬 추정에서 균일 정규화보다 우수한 성능을 낼 수 있는가?
• RQ4 실제 생물학적 데이터에 적용했을 때, 학습된 알고리즘의 표본 효율성은 기존 방법에 비해 얼마나 뛰어나게 되는가?
• RQ5 계산 비용이 과도하게 증가하지 않도록 대규모 그래프를 처리하기 위해 모델을 어떻게 확장할 수 있는가?

주요 결과

• GLAD는 DREAM 5 도전 대회에서 실제 E. coli 유전자 조절 네트워크에서 AUC 0.572를 기록하여 BCD(0.548)와 GISTA(0.541)를 능가했다.
• 모델은 더 큰 그래프로의 일반화가 효과적으로 이루어지며, 50노드 그래프로 훈련된 모델로 10,000노드 추론 작업에서도 양호한 성능을 보였다.
• 기존 방법에 비해 훨씬 적은 데이터 포인트로도 그래프 구조를 복원할 수 있어 표본 효율성이 뛰어나다는 것을 입증했다.
• 전개된 AM에 엔트리별 정규화를 적용함으로써 다양한 그래프 희소성과 간선 크기 분포에 더 잘 적응할 수 있었다.
• 무작위 행렬 근사 기법(예: CUR 및 길이 제곱 샘플링)을 통해 대규모 행렬에서의 확장 가능한 추론이 가능했으며, 분산 구현 가능성도 확보되었다.
• 학습 시 사용된 노이즈 수준과 희소성 패턴과 다른 데이터로 테스트했을 때도 높은 정확도를 유지하여 강력한 내성성과 일반화 능력을 보였다.