[논문 리뷰] Label-GCN: An Effective Method for Adding Label Propagation to Graph Convolutional Networks

Claudio Bellei, Hussain Alattas외 1명|arXiv (Cornell University)|2021. 04. 05.

Advanced Graph Neural Networks참고 문헌 40인용 수 7

한 줄 요약

Label-GCN은 훈련 중 첫 번째 레이어의 레이블 특징에서 자기 순환을 선택적으로 제거함으로써 그래프 컬러이션 네트워크(GCNs)에 단순하면서도 효과적인 수정을 제안한다. 이는 하이퍼파rameter를 추가하지 않고도 레이블 전파를 가능하게 하며, 이는 특히 이웃 노드의 레이블이 추론 중에 이용 가능한 경우, 전도적 및 인덕티브 설정 모두에서 성능 향상을 이끈다. 특히 유명한 Elliptic 데이터셋에서 주요 구조적 교란 이후 최대 36.4%의 F1 점수 향상을 기록하였다.

ABSTRACT

We show that a modification of the first layer of a Graph Convolutional Network (GCN) can be used to effectively propagate label information across neighbor nodes, for binary and multi-class classification problems. This is done by selectively eliminating self-loops for the label features during the training phase of a GCN. The GCN architecture is otherwise unchanged, without any extra hyper-parameters, and can be used in both a transductive and inductive setting. We show through several experiments that, depending on how many labels are available during the inference phase, this strategy can lead to a substantial improvement in the model performance compared to a standard GCN approach, including with imbalanced datasets.

연구 동기 및 목표

• 표준 GCN이 이웃 노드가 유사한 레이블을 가질 가능성이 높음에도 불구하고 훈련 중에 레이블 정보를 활용하지 않는 한계를 해결하기 위해.
• 모델 복잡도를 증가시키거나 새로운 하이퍼파rameter를 도입하지 않고도 레이블 전파를 GCN에 통합하는 방법을 개발하기 위해.
• 특히 추론 중에 이웃 노드의 레이블이 이용 가능한 경우, 전도적 및 인덕티브 설정 모두에서 효과적인 성능 향상을 달성하기 위해.
• 기존 GCN 아키텍처와 그 변형들과의 호환성을 유지하여 다양한 그래프 학습 작업에 광범위하게 적용 가능하도록 하기 위해.

제안 방법

• 이 방법은 훈련 중에 레이블 특징에 대해 첫 번째 GCN 레이어에서 자기 순환을 제거하면서도, 특징 전파를 위한 표준 GCN 아키텍처를 유지한다.
• 레이블 특징은 입력 행렬 X의 일부로 간주되며, 첫 번째 GCN 레이어에서 정규화된 인접 행렬 Â 내에서 자기 연결이 제거된다.
• 정규화 과정은 그대로 유지되며, Â = D̃⁻¹/² Ã D̃⁻¹/²를 사용하지만, 첫 번째 합성곱 레이어 이전에 입력 행렬에서 레이블 특징에 대한 자기 순환만 0으로 설정한다.
• 이 방법은 전도적 및 인덕티브 설정 모두와 호환되며, 추론 중에 전체 그래프 구조가 필요하지 않다.
• 추가 매개변수나 하이퍼파rameter가 도입되지 않으며, 표준 GCN 훈련에 즉각 적용 가능한 플러그인 개선 기법이다.
• 이 모델은 GCN의 인덕티브 바이어스를 활용하면서도, 첫 번째 레이어에서 수정된 메시지 전달 방식을 통해 레이블 정보를 통합한다.

실험 결과

연구 질문

• RQ1 GCN의 첫 번째 레이어에 최소한의 수정을 가해도 하이퍼파rameter를 추가하지 않고도 레이블 정보를 그래프 전반에 효과적으로 전파할 수 있는가?
• RQ2 이 방법을 통해 이웃 레이블 정보를 포함시킬 경우, 전도적 및 인덕티브 노드 분류 작업에서의 성능에 어떤 영향을 미치는가?
• RQ3 이러한 방법이 주요 네트워크 구성 요소(예: 비트코인 네트워크에서의 다크 마켓 폐쇄)의 정지와 같은 구조적 변화에 대해 강건성을 향상시키는가?
• RQ4 레이블의 일부만 추론 중에 이용 가능한 경우, 불균형 데이터셋에서 표준 GCN에 비해 Label-GCN의 성능은 어떻게 되는가?

주요 결과

• Label-GCN은 다크 마켓 폐쇄 이후인 t ≥ t₄₃ 시점에 Elliptic 데이터셋에서 36.4%의 F1 점수를 기록했으며, 표준 GCN의 1.5%에 비해 뚜렷한 성능 우월성을 보였다.
• 인덕티브 설정에서는 Label-GCN이 75.5% (±0.3)의 F1 점수를 기록하여 GCN의 56.4% (±1.4)보다 높게 나타나, 미리 보지 않은 노드에 대한 일반화 능력이 뛰어나다는 것을 입증했다.
• 이웃 레이블이 추론 중에 이용 가능한 조건에서, 인덕티브 설정에서 불법 클래스에 대해 Label-GCN은 GCN 대비 22.2%의 F1 점수 향상을 기록했다.
• 이 방법은 인용 네트워크와 비트코인 자금세탁 방지 네트워크를 포함한 여러 데이터셋에서 성능 향상을 유지했으며, 클래스 불균형 상황에서도 효과를 보였다.
• Label-GCN은 다크 마켓 폐쇄 이후에도 지속적인 F1 점수 향상을 보이며, 구조적 교란에 대한 모델의 강건성을 향상시켰다.
• 추론 중에 더 많은 레이블 정보가 이용 가능한 경우 성능 향상이 가장 두드러졌으며, 이는 방법이 이웃 레이블 전파에 의존한다는 것을 확인시켰다.