[논문 리뷰] Truncated Matrix Power Iteration for Differentiable DAG Learning

Zhen Zhang, Ignavier Ng외 6명|arXiv (Cornell University)|2022. 08. 30.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

이 논문은 기하급수적 시리즈 기반 DAG 제약 조건을 근사하기 위해 잘라낸 행렬 거듭제곱 반복(TMPI)을 사용하는 새로운 미분 가능한 DAG 학습 방법을 제안한다. 이는 고차수 다항식 항의 계수를 크게 하되 수치적 불안정성을 방지할 수 있게 해주며, 특히 희박한 그래프에서 기하급수적 시리즈 기반 제약 조건을 통해 기존 최고 수준의 방법보다 최대 3배 향상된 구조적 해밍 거리(SHD) 성능을 달성한다. 이는 기울기 소멸 문제를 완화하면서도 계산 효율성을 유지함으로써 달성된다.

ABSTRACT

Recovering underlying Directed Acyclic Graph (DAG) structures from observational data is highly challenging due to the combinatorial nature of the DAG-constrained optimization problem. Recently, DAG learning has been cast as a continuous optimization problem by characterizing the DAG constraint as a smooth equality one, generally based on polynomials over adjacency matrices. Existing methods place very small coefficients on high-order polynomial terms for stabilization, since they argue that large coefficients on the higher-order terms are harmful due to numeric exploding. On the contrary, we discover that large coefficients on higher-order terms are beneficial for DAG learning, when the spectral radiuses of the adjacency matrices are small, and that larger coefficients for higher-order terms can approximate the DAG constraints much better than the small counterparts. Based on this, we propose a novel DAG learning method with efficient truncated matrix power iteration to approximate geometric series based DAG constraints. Empirically, our DAG learning method outperforms the previous state-of-the-arts in various settings, often by a factor of $3$ or more in terms of structural Hamming distance.

연구 동기 및 목표

• 고차수 다항식 항의 계수가 작아서 발생하는 기울기 소멸 문제를 해결하기 위해.
• 이웃 행렬의 스펙트럼 반경이 작을 경우 고차수 항의 계수를 크게 해도 안전하고 유익하다는 것을 입증하기 위해.
• 제약 조건의 오차가 제한되고 계산 비용이 낮은 효율적인 알고리즘을 개발하여 기하급수적 시리즈 기반 DAG 제약 조건을 근사하기 위해.
• 합성 및 실제 세계 설정 모두에서 DAG 학습의 정확성과 강건성을 향상시키기 위해.
• 최고 수준의 모델에 기존의 DAG 제약 조건을 제안된 TMPI 기반 제약 조건으로 대체하여 성능 향상을 이끌어내기 위해.

제안 방법

• 이웃 행렬에 대한 순서-d 다항식으로 기하급수적 시리즈 기반 DAG 제약 조건을 제안하며, 고차수 항의 계수를 크게 함으로써 닐포텐트 조건을 보다 잘 근사한다.
• 효율적인 알고리즘인 잘라낸 행렬 거듭제곱 반복(TMPI)을 도입하여, k가 시리즈의 유효 차수일 때 O(log k) 시간 내에 기하급수적 시리즈 근사를 계산한다.
• TMPI 알고리즘은 이론적 오차 한계를 유지하여 근사값이 진정한 기하급수적 시리즈와 제어 가능한 허용 오차 내에 유지됨을 보장한다.
• DAG의 이웃 행렬이 닐포텐트임을 활용하여 스펙트럼 반경이 작다는 점을 이용함으로써, 큰 계수를 사용하더라도 수치적 폭주가 발생하지 않음을 보장한다.
• 기존의 미분 가능한 DAG 프레임워크인 NOTEARS, DAG-GNN, GRAN-DAG 등에 이 제약 조건을 통합하기 위해 기존의 다항식 기반 순환성 제약 조건을 대체한다.
• 가능한 차수 k ≤ d를 식별하기 위한 히우리스틱을 활용하여 제약 조건의 타당 집합이 그대로 유지되도록 하여 추가적인 계산 절감을 이룬다.

실험 결과

연구 질문

• RQ1 고차수 다항식 항의 계수를 크게 하되 수치적 불안정성을 유발하지 않으면서 DAG 제약 조건의 정확도를 향상시킬 수 있는가?
• RQ2 잘라낸 반복 방법을 사용해 이웃 행렬의 기하급수적 시리즈를 오차가 제한된 범위 내에서 효율적으로 근사할 수 있는가?
• RQ3 기존의 DAG 제약 조건을 기하급수적 시리즈 기반 제약 조건으로 대체하면 다양한 그래프 구조에서 SHD에 상당한 향상이 이루어지는가?
• RQ4 제안된 TMPI 알고리즘이 기하급수적 시리즈 제약 조건의 일반적 및 기존의 구현 방식에 비해 속도와 정확도에서 어떻게 비교되는가?
• RQ5 희박한 DAG에서 고차수 항이 순환성 강제에 필수적인 만큼, 이 방법이 기울기 소멸 문제를 효과적으로 완화할 수 있는가?

주요 결과

• 제안된 TMPI 기반 DAG 제약 조건은 다양한 설정에서 최고 수준의 방법보다 최대 3배까지 구조적 해밍 거리(SHD)를 감소시킨다.
• 50개 노드를 가진 ER1 비선형 SEM에서, 이 방법은 SHD 22.2±4.2를 달성하여 DAG-GNN의 25.2±4.5를 능가했다.
• 50개 노드를 가진 비선형 MLP 데이터셋에서, TMPI 제약 조건을 적용한 NOTEARS-MLP는 원래 NOTEARS-MLP의 16.9±1.5보다 더 낮은 SHD 14.9±1.3을 기록했다.
• Sachs 단백질 신호 전달 데이터셋에서, DAG 제약 조건을 TMPI로 대체함으로써 SHD는 DAG-GNN 기준 16에서 16으로 유지되었고, Gran-DAG 기준 13에서 12로 감소했다. 이에 따라 SHDC는 각각 21에서 17, 11에서 9로 향상되었다.
• 빠른 TMPI 구현은 특히 큰 그래프에서 일반적인 방법에 비해 훨씬 더 빠르게 동작하지만, 유사한 SHD 성능을 유지한다.
• 희박한 그래프에서 고차수 항의 정보를 큰 계수를 통해 활성화함으로써 기울기 소멸 문제를 효과적으로 완화하며, 기울기나 수치적 폭주를 유도하지 않는다.