[논문 리뷰] Adversarial Graph Disentanglement

Shuai Zheng, Zhenfeng Zhu외 3명|arXiv (Cornell University)|2021. 03. 12.

Advanced Graph Neural Networks참고 문헌 69인용 수 5

한 줄 요약

이 논문은 미세 분리(disentanglement)를 위한 구성요소별 집합과 매크로 분리(disentanglement)를 위한 적대적 정규화 기반 기반으로, 적대적 분리(disentanglement)를 달성하는 새로운 그래프 신경망인 ADGCN을 제안한다. 이 방법은 노드 표현의 강건성과 표현력을 향상시켜, 인용 및 인용 유사 그래프에서 노드 분류 및 적대적 공격에 대한 방어 성능에서 최신 기술을 초월한다.

ABSTRACT

A real-world graph has a complex topological structure, which is often formed by the interaction of different latent factors. However, most existing methods lack consideration of the intrinsic differences in relations between nodes caused by factor entanglement. In this paper, we propose an \underline{ extbf{A}}dversarial \underline{ extbf{D}}isentangled \underline{ extbf{G}}raph \underline{ extbf{C}}onvolutional \underline{ extbf{N}}etwork (ADGCN) for disentangled graph representation learning. To begin with, we point out two aspects of graph disentanglement that need to be considered, i.e., micro-disentanglement and macro-disentanglement. For them, a component-specific aggregation approach is proposed to achieve micro-disentanglement by inferring latent components that cause the links between nodes. On the basis of micro-disentanglement, we further propose a macro-disentanglement adversarial regularizer to improve the separability among component distributions, thus restricting the interdependence among components. Additionally, to reveal the topological graph structure, a diversity-preserving node sampling approach is proposed, by which the graph structure can be progressively refined in a way of local structure awareness. The experimental results on various real-world graph data verify that our ADGCN obtains more favorable performance over currently available alternatives. The source codes of ADGCN are available at extit{\url{https://github.com/SsGood/ADGCN}}.

연구 동기 및 목표

• 기존 그래프 표현 학습 방법이 이웃 집합을 동일하게 취급하여 링크의 잠재적 구성요소 구조를 忽略하는 한계를 해결하기 위해.
• 노드 표현을 명시적으로 별개의 의미적 구성요소로 분리함으로써 그래프 신경망의 해석 가능성과 강건성을 향상시키기 위해.
• 다양성 유지 노드 샘플링을 통해 점진적으로 그래프 구조를 개선하여 숨겨진 위상관계를 드러내는 학습 전략을 개발하기 위해.
• 적대적 정규화를 통해 구성요소 간 독립성을 강제함으로써 모델의 적대적 공격에 대한 강건성을 향상시키기 위해.

제안 방법

• 링크 인과성에 기반해 이웃을 별개의 잠재적 구성요소에 할당하는 동적 구성요소 할당 메커니즘을 통해 미세 분리(disentanglement)를 도입한다.
• 이웃 노드의 별개의 의미적 역할를 반영할 수 있도록 구성요소별 집합 전략을 활용한다.
• 구성요소 분포 간 상호정보를 최소화하여 독립성을 강제하는 매크로 분리 적대적 정규화 기반 기반을 제안한다.
• 지역적 구조 인식을 향상시키기 위해 점진적으로 그래프 구조를 개선하는 다양성 유지 노드 샘플링 전략을 설계한다.
• 반복적 이웃 할당과 미분 가능 메커니즘을 통합하여 구성요소 할당의 엔드 투 엔드 학습을 가능하게 한다.
• 이중 단계 학습 과정을 설계: 첫 번째 단계는 구성요소 할당을 통한 미세 분리(disentanglement); 두 번째 단계는 적대적 정규화를 통한 매크로 분리(disentanglement).

실험 결과

연구 질문

• RQ1 노드-링크 관계의 배경이 되는 별개의 잠재적 구성요소를 명시적으로 모델링함으로써 그래프 표현 학습은 어떻게 향상될 수 있는가?
• RQ2 적대적 정규화를 통해 구성요소 간 독립성을 강제함으로써 그래프 신경망의 강건성과 일반화 능력은 어느 정도 향상되는가?
• RQ3 다양성 유지 샘플링을 통한 점진적 그래프 정밀화는 학습된 노드 표현의 표현력 향상에 기여하는가?
• RQ4 제안된 방법은 최신 기술 대비 노드 분류 정확도 및 적대적 공격에 대한 방어 성능 측면에서 어떻게 비교되는가?

주요 결과

• ADGCN는 Cora, Citeseer, PubMed를 포함한 여러 실세계 데이터셋에서 노드 분류 작업에서 최신 기술 성능을 달성한다.
• 모델은 타겟 공격(Nettack)과 비타겟 공격(Metattack) 모두에 대해 뛰어난 강건성을 보이며, 기준 모델 대비 성능 저하가 크게 낮다.
• 동적 할당 메커니즘이 빠르게 수렴하며, 연속 반복 간 평균 코사인 유사도가 3~4회 반복 이내로 거의 일정한 값으로 떨어진다.
• 적대적 정규화 기반 기반($L_{adv}$)이 있는 매크로 분리 정규화 기반 기반은 그것이 없는 변형 대비 수렴 속도가 빠르고 구성요소 간 분리도가 향상된다.
• 그래프 정밀화를 포함한 ADGCN-R은 ADGCN보다 더 높은 성능을 달성하지만, 정밀화 과정으로 인해 추론 시간이 증가한다.
• 하이퍼파rameter 분석 결과, $\lambda = \eta = 1$ 및 $m = 5$로 설정할 경우 Cora에서 성능과 효율성 간의 좋은 균형을 이룬다.