[논문 리뷰] Fisher-Bures Adversary Graph Convolutional Networks

Ke Sun, Piotr Koniusz외 1명|arXiv (Cornell University)|2019. 03. 11.

Advanced Graph Neural Networks참고 문헌 47인용 수 11

한 줄 요약

이 논문은 그래프 라플라시안의 적대적 편향을 모델링하기 위해 피셔-부레스 정보기하학을 통합함으로써 일반화를 향상시키는 FisherGCN라는 그래프 컬러지넷을 제안한다. 양자 정보기하학을 활용하여 그래프의 다양체 위에 리만계량을 유도하고, 저랭크 스펙트럼 편향을 적용하여 강건성을 향상시켜, 최소한의 계산 오버헤드로 반감독 노드 분류에서 일관된 성능 향상을 달성한다.

ABSTRACT

In a graph convolutional network, we assume that the graph $G$ is generated wrt some observation noise. During learning, we make small random perturbations $ΔG$ of the graph and try to improve generalization. Based on quantum information geometry, $ΔG$ can be characterized by the eigendecomposition of the graph Laplacian matrix. We try to minimize the loss wrt the perturbed $G+Δ{G}$ while making $Δ{G}$ to be effective in terms of the Fisher information of the neural network. Our proposed model can consistently improve graph convolutional networks on semi-supervised node classification tasks with reasonable computational overhead. We present three different geometries on the manifold of graphs: the intrinsic geometry measures the information theoretic dynamics of a graph; the extrinsic geometry characterizes how such dynamics can affect externally a graph neural network; the embedding geometry is for measuring node embeddings. These new analytical tools are useful in developing a good understanding of graph neural networks and fostering new techniques.

연구 동기 및 목표

• 관측 노이즈 하에서 그래프 구조의 편향을 모델링하여 그래프 컬러지넷(GCN)의 일반화를 향상시키는 것.
• 엄밀한 그래프 다양체 $\mathcal{M}$ 와 그 국소 기하학을 정의하여 효과적인 편향 매개변수화를 위한 것.
• 양자 정보이론과 그래프 신경망을 연결하는 기하학적 프레임워크를 개발하여 강건성을 향상시키는 것.
• 피셔 정보를 사용하여 그래프 라플라시안을 편향함으로써 반감독적 노드 분류 과제에서 일관된 성능 향상이 이루어지는지 경험적으로 검증하는 것.

제안 방법

• 그래프 인접행렬 $A$ 의 소규모 랜덤 편향 $\Delta G$ 에 대한 기대 손실을 최소화하는 수정된 GCN, 즉 FisherGCN 를 제안하며, 피셔 정보계량을 사용한다.
• 그래프 라플라시안의 고유분해를 통해 편향 $\Delta G$ 를 특성화하여, 적대적 그래프 노이즈의 압축적이고 저랭크 매개변수화를 가능하게 한다.
• 그래프 다양체 위에 세 가지 다른 기하학을 도출한다: 내재적(정보이론적 역학), 외재적(GNN에 미치는 영향), 그리고 임bedding(노드 레이블의 생성 모델 기반).
• 관측된 그래프의 피셔 정보행렬(FIM)을 사용하여 폐형 리만계량을 계산하며, 특히 $\hat{\mathcal{G}}(y^k)$ 를 통한 임베딩 기하학에 대해 적용한다.
• 반데르니우엔 엔트로피와 스펙트럼 분해를 사용하여 고차원 컨볼루션을 모델링하며, 편향이 스펙트럼 도메인에서 다항식 필터에 해당함을 보여준다.
• 식 (8) 에서 유도된 편향 항의 저랭크 분해를 활용하여, 확장 가능한 훈련을 위한 효율적인 미니배치 적응을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 엄밀하게 그래프 다양체 $\mathcal{M}$ 와 그 국소 이웃을 정의할 수 있으며, GCN 내 적대적 편향에 적용할 수 있는가?
• RQ2 양자 정보이론에 기반한 기하 원리 중 어떤 것이 효과적이고 강건한 그래프 편향을 구성하는 데 도움이 되는가?
• RQ3 그래프 다양체 위의 다양한 리만계량 기하학(내재적, 외재적, 임베딩)은 GNN의 역학과 성능에 어떻게 관련되어 있는가?
• RQ4 피셔 정보 기반의 편향이 반감독적 노드 분류 과제에서 일관되게 일반화를 향상시키는가?
• RQ5 피셔-부레스 계량에서 유도된 스펙트럼 편향은 어떻게 미니배치 훈련 환경에서 효율적으로 구현할 수 있는가?

주요 결과

• FisherGCN 는 다양한 벤치마크 데이터셋에서 이행적 노드 분류 과제에서 일관된 성능 향상을 보이며, 그래프 편향 하에서도 향상된 일반화를 입증한다.
• 관측된 FIM $\hat{\mathcal{G}}(y^k)$ 에 기반한 임베딩 기하학은 편향이 레이블 거리 분산에 미치는 영향을 정량화하며, 큰 계량은 이웃 거리 변화에 대한 높은 민감도를 나타낸다.
• 리만계량 $dy^{k\top}\hat{\mathcal{G}}(y^k)dy^k$ 는 생성 모델 $p_{ij}$ 하에서 $d(y_{ik}-y_{jk})^2$ 의 분산에 비례하는 것으로 밝혀져 기하학과 레이블 역학 간의 연결 고리를 제공한다.
• 피셔-부레스 계량에 기반한 스펙트럼 편향은 그래프 라플라시안 스펙트럼에서 고차원 다항식 필터를 적용하는 것과 동치이며, 신호 전파를 향상시킨다.
• 편향의 저랭크 구조 덕분에 효율적인 미니배치 적응이 가능하여 대규모 그래프에 대한 확장성 확보가 가능하다.
• 표준 GCN 및 기준 데이터 증강 전략보다 성능이 뛰어나며, 기하학적으로 정보를 반영한 편향 설계 덕분에 성능 향상이 이루어졌다.