[논문 리뷰] From Latent Graph to Latent Topology Inference: Differentiable Cell Complex Module

Claudio Battiloro, Indro Spinelli외 4명|arXiv (Cornell University)|2023. 05. 25.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 데이터에서 다중 방향 상호작용을 모델링하기 위해 고차원이고 희소한 세포 복합체(다각형 포함)를 학습하는 가변성 있는 아키텍처인 가변성 세포 복합체 모듈(Differentiable Cell Complex Module, DCM)을 통한 잠재 위상 추론(Latent Topology Inference, LTI)을 제안한다. 이는 이중 단계의 종단 간 학습 가능한 프로세스를 통해 이루어지며, 먼저 개선된 $\alpha$-DGM을 통해 1-스켈레톤 그래프를 학습하고, 그 다음에 $\alpha$-entmax를 사용한 희소 샘플링을 통해 관련 2-세포(다각형)를 추론한다. DCM은 동형성 및 이형성 그래프 벤치마크에서 최신 기법들을 능가하며, 특히 입력 그래프가 열악하거나 존재하지 않을 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

Latent Graph Inference (LGI) relaxed the reliance of Graph Neural Networks (GNNs) on a given graph topology by dynamically learning it. However, most of LGI methods assume to have a (noisy, incomplete, improvable, ...) input graph to rewire and can solely learn regular graph topologies. In the wake of the success of Topological Deep Learning (TDL), we study Latent Topology Inference (LTI) for learning higher-order cell complexes (with sparse and not regular topology) describing multi-way interactions between data points. To this aim, we introduce the Differentiable Cell Complex Module (DCM), a novel learnable function that computes cell probabilities in the complex to improve the downstream task. We show how to integrate DCM with cell complex message passing networks layers and train it in a end-to-end fashion, thanks to a two-step inference procedure that avoids an exhaustive search across all possible cells in the input, thus maintaining scalability. Our model is tested on several homophilic and heterophilic graph datasets and it is shown to outperform other state-of-the-art techniques, offering significant improvements especially in cases where an input graph is not provided.

연구 동기 및 목표

• 고정되거나 열악한 입력 그래프 위상에 의존하는 그래프 신경망(GNN)의 한계를 해결하기 위해, 동적이고 고차원 위상적 구조를 종단 간 학습할 수 있도록 하는 것.
• 잠재 그래프 추론(Latent Graph Inference, LGI)을 고차원 복합체, 특히 정규 세포 복합체로 일반화하여 데이터 포인트 간의 다중 상호작용을 모델링하는 것.
• 모든 가능한 고차원 세포에 대한 완전 탐색의 계산 비용이 과도한 문제를 해결하기 위해, 확장 가능한 이중 단계 추론 절차를 도입하는 것.
• 입력 그래프가 데이터 구조와 잘 일치하지 않는 이형성 설정에서 특히 성능 향상을 도모하기 위해 노드 분류 작업의 최종 성능을 향상시키는 것.
• 학습된 잠재 위상이 입력 그래프가 노이즈가 많거나 정보가 없더라도 높은 동형성과 강건성을 확보할 수 있음을 입증하는 것.

제안 방법

• 고차원 세포(다각형 등)가 세포 복합체에 포함될 확률을 계산하는 학습 가능한 함수인 가변성 세포 복합체 모듈(DCM)을 제안한다.
• 이중 단계 추론 절차를 활용한다: 첫째, 기존 DGM의 정규 위상 제약를 극복한 개선된 $\alpha$-가변성 그래프 모듈($\alpha$-DGM)을 통해 1-스켈레톤 그래프를 학습한다.
• 둘째, 노드 및 에지 표현을 기반으로 어떤 2-세포(삼각형, 사각형 등)가 복합체에 포함되어야 할지 학습하는 다각형 추론 모듈(Polygon Inference Module, PIM)을 사용한다.
• 후보 다각형에 대한 희소하고 가변성 있는 샘플링을 가능하게 하여 효율적이고 확장 가능한 고차원 상호작용 탐색을 가능하게 하기 위해 $\alpha$-entmax 가족의 함수를 활용한다.
• 가변성 세포 복합체 모듈(DCM)을 그래프 신경망(GNN) 및 세포 복합체 신경망(CCNN) 메시지 전파 레이어와 통합하여 공동 최적화를 수행한다.
• 가변성이고 매개변수 기반 손실을 사용하여 전체 아키텍처를 종단 간으로 학습시켜 위상과 표현 학습을 공동 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고정 또는 입력 그래프를 초월하여 데이터에서 고차원 위상적 구조(세포 복합체)를 가변성이고 학습 가능한 프레임워크가 추론할 수 있는가?
• RQ2 모든 가능한 고차원 세포에 대한 탐색 비용을 줄이면서도 표현력과 확장성을 유지할 수 있는 방법은 무엇인가?
• RQ3 잠재 세포 복합체를 학습하는 것이 노드 분류 작업에서 성능 향상을 이끌어내는가? 특히 입력 그래프가 열악한 이형성 설정에서 그렇다면?
• RQ4 입력 그래프가 이형성일지라도 추론된 위상은 어느 정도 동형성 성질을 보일 수 있는가?
• RQ5 입력 그래프가 제공되지 않는 경우에도 DCM이 일반화되어 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• DCM은 동형성 및 이형성 그래프 벤치마크에서 여러 테스트 케이스에서 최신 기법들을 능가하는 최고 성능을 기록한다.
• Texas 데이터셋에서 추론된 1-스켈레톤의 동형성 수준은 초기 입력 시 0.11에서 최종 학습된 그래프로 0.99로 상승하여 강력한 동형성 구조로의 자가 조직화를 보여준다.
• 입력 그래프가 정보가 없더라도 모델은 높은 성능을 유지하여 열악하거나 노이즈가 많은 그래프 입력에 대해 강건함을 입증한다.
• 학습 과정에서 샘플링된 다각형 비율($\%_{p}$)이 100%에서 20%로 감소하여 의미 있는 고차원 상호작용의 효율적 희소화 및 선택이 이루어졌음을 보여준다.
• 학습된 그래프의 차수 분포는 매우 넓으며, 대부분의 추론된 다각형이 동일한 클래스에 속해 있어 모델이 의미 있는, 클래스 일관성 있는 다중 상호작용을 학습할 수 있음을 확인한다.
• 절단 실험을 통해 이중 단계 추론 절차와 $\alpha$-entmax를 사용한 희소 가변성 샘플링의 중요성이 높은 성능 달성에 기여함을 입증한다.