[논문 리뷰] A partial orthogonalization method for simulating covariance and concentration graph matrices

Irene Córdoba, Gherardo Varando외 2명|arXiv (Cornell University)|2018. 07. 09.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 4

한 줄 요약

이 논문은 그래프 모델에서 강한 연결 강도를 유지하면서 대각선 우세 행렬에서 흔히 발생하는 약한 비대각성 요소 문제를 해결하기 위해 부분 직교화 방법을 제안한다. 이는 대칭 양의 정부호(SPD) 공분산 및 농도 행렬을 생성하는 데 사용되며, 다양한 희박성 수준에서도 안정적인 연결 강도를 보장한다. 특히 그래프에서 누락된 간선에 대응하는 행들 간의 행별 직교성을 강제함으로써, 합성 및 실세계 검증에서 학습 알고리즘의 구조 복원 성능을 크게 향상시킨다.

ABSTRACT

Structure learning methods for covariance and concentration graphs are often validated on synthetic models, usually obtained by randomly generating: (i) an undirected graph, and (ii) a compatible symmetric positive definite (SPD) matrix. In order to ensure positive definiteness in (ii), a dominant diagonal is usually imposed. However, the link strengths in the resulting graphical model, determined by off-diagonal entries in the SPD matrix, are in many scenarios extremely weak. Recovering the structure of the undirected graph thus becomes a challenge, and algorithm validation is notably affected. In this paper, we propose an alternative method which overcomes such problem yet yielding a compatible SPD matrix. We generate a partially row-wise-orthogonal matrix factor, where pairwise orthogonal rows correspond to missing edges in the undirected graph. In numerical experiments ranging from moderately dense to sparse scenarios, we obtain that, as the dimension increases, the link strength we simulate is stable with respect to the structure sparsity. Importantly, we show in a real validation setting how structure recovery is greatly improved for all learning algorithms when using our proposed method, thereby producing a more realistic comparison framework.

연구 동기 및 목표

• 차원이 증가함에 따라 비대각성 요소가 너무 약해지는 대각선 우세 행렬의 한계를 해결하기 위해.
• 비방향 그래프 구조와 호환되며 강한 안정적인 연결 강도를 유지하는 대칭 양의 정부호 행렬을 생성하는 방법을 개발하기 위해.
• 공분산 및 농도 그래프 학습 알고리즘 평가를 위한 합성 벤치마크의 현실성과 신뢰성을 향상시키기 위해.
• 대각선 우세 행렬을 기반으로 한 알고리즘 성능 순위 및 결론이 잘못된 해석을 낳을 수 있음을 입증하기 위해.
• 그래픽 모델 검증에서 SPD 행렬을 생성하기 위한 계산 효율적이고 재현 가능한 대각선 우세성의 대안을 제공하기 위해.

제안 방법

• 비방향 그래프에서 인접하지 않은 노드에 대응하는 행들(누락된 간선) 간에 쌍별로 직교성을 확보한다.
• 부분 직교성을 강제하기 위해 수정된 그람-슈미트 과정을 사용하여 원하는 그래프 구조를 유지한다.
• 결과적으로 행렬 요인을 외적 곱을 통해 대칭 양의 정부호 행렬로 변환함으로써 그래프 구조와의 호환성을 확보한다.
• 설계상 대각선 우세성을 피하기 때문에 비대각성 요소가 억압되지 않는다.
• R로 구현되어 있으며, 비교를 위해 부분 직교화 및 대각선 우세성 모두를 지원하는 gmat 패키지로 공개된다.
• 이 구현은 다양한 희박성 수준과 차원에서 효율적인 행렬 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 제안된 부분 직교화 방법은 대각선 우세 행렬에 비해 더 강하고 안정적인 연결 강도를 갖는 공분산 및 농도 행렬을 생성하는가?
• RQ2 제안된 방법으로 생성된 행렬을 기반으로 한 학습 알고리즘의 성능은 대각선 우세성 대비 어떻게 변화하는가?
• RQ3 제안된 방법은 중간 정도로 희박하거나 희박한 그래프 모델 모두에서 구조 복원을 향상시킬 수 있는가?
• RQ4 행렬 생성 방법이 학습 알고리즘의 참 양성률 및 참 탐지률에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실세계 검증 환경에서 더 신뢰성 있고 현실적인 성능 비교를 제공하는가?

주요 결과

• 대각선 우세 행렬을 사용할 경우, 밀도가 높은 그래프(p=100, d=0.25)에서 모든 구조 학습 알고리즘이 참 양성률이 거의 0에 가까워져 구조 복원 성능이 열악함을 보였다.
• 제안된 부분 직교화 방법을 사용할 경우, 여러 알고리즘이 약 0.45의 참 양성률을 기록하여 구조 복원 성능 향상이 뚜렷하게 나타났다.
• 모든 학습 알고리즘이 대각선 우세성 대비 제안된 방법으로 생성된 행렬을 기반으로 검증했을 때 더 높은 참 탐지률을 보였다.
• 이전에 대각선 우세성 하에서 밀도가 높은 상황에서 비효율적이라 여겨졌던 부분 최소 제곱 회귀법이 새로운 방법을 사용할 경우 합리적인 성능을 보였으며, 이는 이전의 결론을 도전하는 결과였다.
• 대각선 우세성과 달리, 이 방법은 차원이 증가함에 따라 그래프의 희박성에 관계없이 안정적인 연결 강도를 유지한다.
• 실세계 검증 사례는 알고리즘 순위 및 성능 평가가 사용된 행렬 생성 방법에 따라 근본적으로 달라질 수 있음을 보여주었다.