[논문 리뷰] Graph Neural Networks Go Forward-Forward

Daniele Paliotta, Mathieu Alain외 2명|arXiv (Cornell University)|2023. 02. 10.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 신경망을 위한 새로운 학습 방법인 그래프 포워드-포워드(GFF)를 소개한다. 이 방법은 역전파를 대체하여 양성 및 음성 그래프 샘플을 사용하는 전방전파 전용 절차를 사용한다. GFF는 양성 그래프에서의 적합도를 최대화하고 음성 그래프에서의 적합도를 최소화함으로써 각 층을 탐욕적으로 계층적으로 학습시켜, 역전파와 유사한 성능를 달성하면서 생물학적으로 더 타당하고 메모리 사용을 줄일 수 있다.

ABSTRACT

We present the Graph Forward-Forward (GFF) algorithm, an extension of the Forward-Forward procedure to graphs, able to handle features distributed over a graph's nodes. This allows training graph neural networks with forward passes only, without backpropagation. Our method is agnostic to the message-passing scheme, and provides a more biologically plausible learning scheme than backpropagation, while also carrying computational advantages. With GFF, graph neural networks are trained greedily layer by layer, using both positive and negative samples. We run experiments on 11 standard graph property prediction tasks, showing how GFF provides an effective alternative to backpropagation for training graph neural networks. This shows in particular that this procedure is remarkably efficient in spite of combining the per-layer training with the locality of the processing in a GNN.

연구 동기 및 목표

• 그래프 신경망을 위한 생물학적으로 타당하고, 역전파가 없는 학습 방법을 개발하기 위해.
• 포워드-포워드 알고리즘을 노드 특징이 있는 그래프 구조 데이터로 확장하기 위해.
• 기울기 계산과 메모리 집약적인 역전파 단계를 피하여 오직 전방전파만을 사용해 GNN을 학습할 수 있도록 하기 위해.
• 표준 그래프 성질 예측 벤치마크에서 GFF의 성능과 효율성을 표준 역전파와 비교하기 위해.
• 다양한 적합도 함수와 음성 샘플 생성 전략이 GNN 학습에 미치는 영향을 탐색하기 위해.

제안 방법

• GFF는 노드 활성화의 집계를 기반으로 한 적합도 함수를 정의하여 포워드-포워드 알고리즘을 그래프에 확장한다. 일반적으로 각 층의 제곱 활성화의 합을 의미한다.
• 양성 및 음성 그래프 샘플은 각각 노드 특징에 정확한 또는 잘못된 레이블 인코딩을 추가하여 생성된다.
• 모델은 탐욕적으로 계층별로 학습된다: 각 층의 파라미터는 양성 그래프에서의 적합도를 최대화하고 음성 그래프에서의 적합도를 최소화하도록 업데이트된다.
• 이 방법은 메시지 전달 GNN 아키텍처와 호환되며, 층 간에 미분 가능 요소가 필요하지 않다.
• 음성 샘플은 기존 그래프에 잘못된 레이블을 할당하여 생성되며, 가상 노드와 같은 그래프 증강 기법(예: 가상 노드)과 같은 대안 전략도 탐색된다.
• 학습 과정에서 모든 활성화를 저장하지 않아, 역전파 대비 메모리 사용량을 크게 줄일 수 있다.

실험 결과

연구 질문

• RQ1 노드 특징이 있는 그래프 구조 데이터에 대해 포워드-포워드 알고리즘이 성공적으로 확장될 수 있는가?
• RQ2 GFF는 그래프 성질 예측 작업에서 표준 역전파와 비교해 어떻게 성능을 내는가?
• RQ3 GNN 학습에서 GFF는 역전파에 비해 어떤 계산 및 메모리적 이점이 있는가?
• RQ4 다양한 적합도 함수와 음성 샘플 생성 방법의 선택이 GFF 성능에 어떤 영향을 미치는가?
• RQ5 상향식 기울기 흐름이 없는 상황에서도 GFF는 장거리 의존성을 효과적으로 포착할 수 있는가?

주요 결과

• GFF는 11개의 표준 그래프 성질 예측 데이터셋에서 역전파와 유사한 성능를 달성하여, 학습 대안으로서의 타당성을 입증한다.
• GFF의 메모리 소비는 특히 깊은 네트워크에서 역전파보다 크게 낮다. 이는 전체 활성화 캐싱 대신 실시간 활성화 저장 덕분이다.
• 각 층의 학습과 메시지 전달 GNN의 국소적 인도적 편향을 결합해도 이 방법은 여전히 효과적이다.
• 제곱 활성화의 합과 같은 다양한 적합도 함수는 강력한 성능를 보이며, 다른 집계 방법은 성능 향상에 기여할 수 있다.
• 상향식 정보 흐름의 부재로 인해 GFF는 초기 층에 장거리 의존성을 효과적으로 전파하지 못하는 한계를 지닌다. 이는 아키텍처 개선이 필요함을 시사한다.
• 레이블 손상 기반으로 생성된 음성 샘플은 효과적이지만, 가상 노드와 같은 그래프 증강 기법은 장거리 작업에서 성능 향상에 기여할 수 있다.