[논문 리뷰] Deep Generative Model for Periodic Graphs

Shiyu Wang, Xiaojie Guo외 1명|arXiv (Cornell University)|2022. 01. 28.

Graph Theory and Algorithms인용 수 14

한 줄 요약

이 논문은 주기적 그래프를 위한 딥 생성 모델인 PGD-VAE를 제안하며, 주기성 강제 조건을 갖춘 특수한 인코더-디코더 아키텍처를 통해 국소적이고 전역적인 그래프 패턴을 분리한다. 이 모델은 재현 품질, 다양성, 불변성 측면에서 기존 모델들을 능가하는 최신 기술 성능을 달성하며, 합성, 메쉬, MOF 데이터셋에서 낮은 KLD 점수와 높은 신규성 및 유일성으로 우수한 성능을 보인다.

ABSTRACT

Periodic graphs are graphs consisting of repetitive local structures, such as crystal nets and polygon mesh. Their generative modeling has great potential in real-world applications such as material design and graphics synthesis. Classical models either rely on domain-specific predefined generation principles (e.g., in crystal net design), or follow geometry-based prescribed rules. Recently, deep generative models has shown great promise in automatically generating general graphs. However, their advancement into periodic graphs have not been well explored due to several key challenges in 1) maintaining graph periodicity; 2) disentangling local and global patterns; and 3) efficiency in learning repetitive patterns. To address them, this paper proposes Periodical-Graph Disentangled Variational Auto-encoder (PGD-VAE), a new deep generative models for periodic graphs that can automatically learn, disentangle, and generate local and global graph patterns. Specifically, we develop a new periodic graph encoder consisting of global-pattern encoder and local-pattern encoder that ensures to disentangle the representation into global and local semantics. We then propose a new periodic graph decoder consisting of local structure decoder, neighborhood decoder, and global structure decoder, as well as the assembler of their outputs that guarantees periodicity. Moreover, we design a new model learning objective that helps ensure the invariance of local-semantic representations for the graphs with the same local structure. Comprehensive experimental evaluations have been conducted to demonstrate the effectiveness of the proposed method. The code of proposed PGD-VAE is availabe at https://github.com/shi-yu-wang/PGD-VAE.

연구 동기 및 목표

• 도메인 특화 또는 기하 규칙에 의존하지 않고 주기적 그래프를 학습하고 생성할 수 있는 딥 생성 모델의 부족을 해결한다.
• 그래프의 주기성 유지, 국소적 및 전역적 위상 패턴 분리, 반복 구조 모델링의 효율성 향상 등의 과제를 극복한다.
• 주기적 그래프 내에서 국소적 구조 단위와 전역 연결 패턴을 자동으로 학습하고 분리하여 생성할 수 있는 모델을 개발한다.
• 동일한 국소적 구조를 가진 그래프 간에 국소적 의미 표현이 불변하도록 보장하여 강건하고 일반화 가능한 생성을 가능하게 한다.
• MOF 및 결정망과 같은 유효하고 다양한 주기적 그래프 생성을 통해 재료 설계 및 그래픽 합성 분야의 적용을 가능하게 한다.

제안 방법

• 반복적인 국소 단위에서 고수준 위상을 분리하기 위해 전역 패턴 및 국소 패턴 인코더를 별도로 갖춘 새로운 주기적 그래프 인코더를 제안한다.
• 국소 구조, 주변 구조, 전역 구조 디코더를 포함한 계층적 디코더를 설계한 후, 출력에 주기성을 강제하는 어셈블러를 적용한다.
• 동일한 기본 단위를 공유하는 그래프 간에 국소적 의미 표현의 불변성을 유도하는 새로운 학습 목표를 도입한다.
• 표현 학습을 위해 그래프 신경망(GIN 또는 GCN)을 사용하고, 재구성 및 엔트로피 최소화를 위한 변분 자동인코더 프레임워크와 재파라미터화 기법을 통합해 엔드 투 엔드 학습을 구현한다.
• 잠재 공간을 분리하여 z_l이 국소 구조를 제어하고 z_g가 전역 위상을 제어하도록 하여 제어 가능한 생성을 가능하게 한다.
• 재구성 손실과 KLD 정규화, 국소 표현의 분리 및 불변성 향상을 위한 콘트라스트 손실을 함께 적용한다.

실험 결과

연구 질문

• RQ1 정의된 규칙에 의존하지 않고도 깊이 있는 생성 모델이 주기적 그래프의 국소적 및 전역적 패턴을 자동으로 학습하고 분리할 수 있는가?
• RQ2 그래프 생성 과정에서 주기성이 명시적으로 강제되어 반복적인 구조 단위로 구성된 출력이 보장될 수 있는가?
• RQ3 국소적 및 전역적 의미의 분리가 주기적 그래프 모델링에서 생성 품질, 다양성, 불변성 향상에 얼마나 기여하는가?
• RQ4 주기적 그래프 벤치마크에서 재구성 정밀도, 신규성, 유일성 측면에서 기존 그래프 생성 모델과 비교해 본 모델의 성능은 어떠한가?
• RQ5 복잡한 국소 단위를 가진 MOF 및 기타 주기적 재료를 위해 화학적으로 타당하고 구조적으로 다양한 그래프를 생성할 수 있는가?

주요 결과

• MeshSeq 데이터셋에서 PGD-VAE는 모든 비교 모델 대비 가장 낮은 KLD 점수를 기록했다: 클러스터링 계수 기준 0.8191, 그래프 밀도 기준 0.5062.
• 합성 데이터셋에서 PGD-VAE는 클러스터링 기준 KLD 2.4275, 밀도 기준 1.7611를 기록하며 GraphRNN 및 GRAN을 포함한 베이스라인을 능가했다.
• 분리 기반 제거 버전인 PGD-VAE-1(비분리)은 KLD가 각각 3.2672와 0.8399로 유의미하게 열악한 성능를 보이며 분리의 중요성을 확인했다.
• GIN 대신 GCN를 사용한 PGD-VAE-2는 QMOF에서 클러스터링 기준 KLD 0.8508, 밀도 기준 0.9332를 기록하며 다른 모델을 능가했고, 이는 복잡한 MOF에서의 강건성을 시사한다.
• 단일 MLP 디코더를 사용한 모델(PGD-VAE-3)은 성능이 열등하여 계층적 디코더 설계의 필요성을 입증했다.
• PGD-VAE는 높은 유일성 및 신규성 점수를 기록하여 다양한 새로운 그래프를 생성하며, 이는 재료 설계 및 오브제 합성에 매우 중요하다.