[논문 리뷰] LookHops: light multi-order convolution and pooling for graph classification

Zhangyang Gao, Haitao Lin외 1명|arXiv (Cornell University)|2020. 12. 28.

Advanced Graph Neural Networks참고 문헌 22인용 수 4

한 줄 요약

이 논문은 다중 순서 그래프 컨볼루션과 풀링 프레임워크인 LookHops를 제안한다. 이는 이웃 정보 수익을 통해 최적의 $k$-호프 이웃을 선택함으로써 상태 기반 성능을 달성하면서도 파라미터 수를 줄이고 계산 비용을 낮춘다. 효율적인 $k$-순서 컨볼루션과 함께 노드 중요도와 엣지 구조를 동시에 학습하는 새로운 $k$-순서 풀링 모듈을 결합함으로써 성능을 향상시킨다.

ABSTRACT

Convolution and pooling are the key operations to learn hierarchical representation for graph classification, where more expressive $k$-order($k>1$) method requires more computation cost, limiting the further applications. In this paper, we investigate the strategy of selecting $k$ via neighborhood information gain and propose light $k$-order convolution and pooling requiring fewer parameters while improving the performance. Comprehensive and fair experiments through six graph classification benchmarks show: 1) the performance improvement is consistent to the $k$-order information gain. 2) the proposed convolution requires fewer parameters while providing competitive results. 3) the proposed pooling outperforms SOTA algorithms in terms of efficiency and performance.

연구 동기 및 목표

• 그래프 분류에서 표현력 있는 $k$-순서 그래프 컨볼루션($k>1$)의 높은 계산 비용을 해결한다.
• 표현력과 효율성의 균형을 이루기 위해 정보 수익을 기반으로 최적의 $k$-호프 이웃을 선택하는 기준을 개발한다.
• 모델 복잡도를 감소시켜도 경쟁 가능한 성능을 유지하는 파라미터 효율적인 $k$-순서 컨볼루션 모듈을 설계한다.
• 노드 중요도와 엣지 구조를 동시에 학습하는 새로운 $k$-순서 풀링 메커니즘을 제안하여 기존 SOTA 방법보다 정확도와 효율성 측면에서 우수한 성능을 달성한다.

제안 방법

• 효율적인 수신 필드 확장을 보장하기 위해 $k$-순서 컨볼루션의 $k$ 선택을 안내하는 $k$-호프 이웃 정보 수익(kInfo) 기준을 도입한다.
• 파라미터를 줄이면서도 다중호프 메시지 전달을 유지하기 위해 $k$-호프 이웃에 대한 학습 가능한 어텐션을 사용하는 경량 $k$-순서 컨볼루션을 구현한다.
• 개선된 표현 학습을 위해 정규화된 특징 투영(NF), 노드 수준 풀링(pN), 엣지 수준의 구조 학습(pE)을 통합한 $k$-순서 풀링 모듈을 제안한다.
• LiCheb를 기본 컨볼루션 모듈로 사용하며, $k$-호프 메시지 전달을 위한 학습 가능한 가중치를 적용하여 고차원 그래프 신호의 효율적 근사화를 가능하게 한다.
• 풀링 과정에서 노드 점수 추정을 향상시키기 위해 정규화된 특징을 통합하며, 단순한 L2 노름 대신 기하학적으로 의미 있는 투영을 사용한다.
• 엔드포인트 특징 차이를 기반으로 엣지 드롭을 적용하여 구조적으로 유의미한 엣지를 유지함으로써, 구조 인식 기반 압축을 통해 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 표현력과 계산 비용의 균형을 이루기 위해 그래프 컨볼루션에 최적의 $k$-호프 이웃을 효과적으로 선택하는 방법은 무엇인가?
• RQ2 경량 $k$-순서 컨볼루션 모듈은 기존 방법보다 훨씬 적은 파라미터로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 노드 중요도와 엣지 구조를 동시에 학습하는 $k$-순서 풀링 메커니즘이 기존 SOTA 풀링 방법보다 정확도와 효율성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 정규화된 특징과 엣지 수준의 구조 학습을 통합할 경우 그래프 풀링 레이어의 성능 향상 정도는 어느 정도인가?
• RQ5 큰 그래프에서 구조 파손의 위험이 존재하는 상황에서도 그래프 풀링이 여전히 유용한 조건은 무엇인가?

주요 결과

• 제안된 $k$-순서 컨볼루션은 $k$-호프 이웃 정보 수익과 상관관계가 있는 일관된 성능 향상을 보이며, 제안된 선택 기준의 타당성을 입증한다.
• 경량 $k$-순서 컨볼루션 모듈은 파라미터 수를 줄였음에도 불구하고 모든 6개의 벤치마크에서 SOTA 모델과 동등하거나 뛰어난 성능을 기록한다.
• 제안된 풀링 방법은 TopkPool, SAGPool, ASAP, EdgePool을 모두 초월하여 정확도와 추론 속도 측면에서 SOTA 성능을 달성했으며, D&D, NCI1, NCI109, Mutagenicity에서 최고 성능을 기록했다.
• 절단 실험 결과, 정규화된 특징(NF)은 대부분의 데이터셋에서 더 나은 노드 중요도 점수를 제공하여 성능 향상을 이룬다. 다만 D&D와 Mutagenicity에서는 예외였다.
• 엣지 수준의 구조 학습(pE)은 높은 특징 차이를 보이는 엣지를 유지함으로써 성능 향상을 더욱 높였으며, 원본 그래프 엣지에 대한 부족함을 드러낸다.
• 전체 LookHops 모델(NF + pN + pE)은 NCI1에서 78.2%의 정확도, Mutagenicity에서 80.3%의 정확도, Far에서 65.0%의 정확도를 기록했으며, 파라미터 수는 116.7k개, 50 에포크 기준 학습 시간은 196.3초로 SOTA 방법보다 훨씬 빠르게 학습이 가능했다.