[논문 리뷰] Attentive Graph Neural Networks for Few-Shot Learning

Hao Cheng, Joey Tianyi Zhou외 2명|arXiv (Cornell University)|2020. 07. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 6

한 줄 요약

이 논문은 소수의 샘플에서 학습하는 데서 과도한 스무딩과 과적합을 완화하기 위해 노드 자기주의, 이웃 주의, 계층 메모리 주의를 포함하는 삼중 주의 메커니즘을 갖춘 주의적 그래프 신경망(Attentive GNN)을 제안한다. 이 방법은 유도적 및 비유도적 설정 모두에서 mini-ImageNet과 tiered-ImageNet 벤치마크에서 최신 기술 수준의 성능을 달성하며, 일반화 및 확장성 향상에 대한 이론적 및 실험적 검증을 제공한다.

ABSTRACT

Graph Neural Networks (GNN) has demonstrated the superior performance in many challenging applications, including the few-shot learning tasks. Despite its powerful capacity to learn and generalize the model from few samples, GNN usually suffers from severe over-fitting and over-smoothing as the model becomes deep, which limit the scalability. In this work, we propose a novel Attentive GNN to tackle these challenges, by incorporating a triple-attention mechanism, i.e. node self-attention, neighborhood attention, and layer memory attention. We explain why the proposed attentive modules can improve GNN for few-shot learning with theoretical analysis and illustrations. Extensive experiments show that the proposed Attentive GNN model achieves the promising results, comparing to the state-of-the-art GNN- and CNN-based methods for few-shot learning tasks, over the mini-ImageNet and tiered-ImageNet benchmarks, under ConvNet-4 and ResNet-based backbone with both inductive and transductive settings. The codes will be made publicly available.

연구 동기 및 목표

• 소수의 샘플에서 학습하는 데서 깊은 그래프 신경망(GNN)의 과도한 스무딩과 과적합 문제를 해결하기 위해.
• 주요 주의 메커니즘을 통합하여 저자료 환경에서 모델의 확장성과 일반화 능력을 향상시키기 위해.
• 그래프 구조를 가진 지원 세트를 활용하여 내부 및 상하위 클래스 간 관계를 효과적으로 포착하는 GNN 아키텍처를 개발하기 위해.
• 주요 주의 모듈이 특징의 구분 능력을 유지하고 차원 감소 손실을 줄이는 데 효과적인지에 대한 이론적 및 실험적 검증을 위해.
• 표준 소수의 샘플에서 학습하는 벤치마크인 mini-ImageNet과 tiered-ImageNet에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 노드 자기주의, 이웃 주의, 계층 메모리 주의를 포함하는 삼중 주의 메커니즘을 도입하여, CNN 특징을 초월한 상호 노드 및 상하위 클래스 상관관계를 모델링한다.
• 특징 유사도 기반으로 상위-βV 선택을 통해 가장 관련성이 높은 이웃 노드만 유지함으로써 희소한 인접 행렬을 학습하는 이웃 주의를 적용한다.
• 더 깊은 신경망에서 정보 손실을 줄이기 위해 밀도 있는 스킵 연결을 활용한 계층 메모리 주의를 활용하여 이전 레이어의 특징을 유지하고 집계한다.
• 주의 가중치를 학습하기 위해 미분 가능한 최적화 공식을 사용한다: $\hat{\mathbf{A}}^{(k)} = \arg\min_{\mathbf{A}^{(k)}} \|\mathbf{A}^{(k)} - \mathbf{U}^{(k)}\|_F$ 이며, 제약 조건으로 $\|\mathbf{A}^{(k)}_i\|_0 \leq \beta V$ 를 만족한다. 여기서 $\mathbf{U}^{(k)}$ 는 특징 차이에 대해 MLP를 적용하여 계산된다.
• 이론적 분석을 통해 이웃 주의가 $\epsilon$-스무딩이 발생하기 이르기까지 허용 가능한 레이어 수를 늘리거나 특징 공간에서의 차원 감소를 줄여 과도한 스무딩을 감소시킴을 확인한다.
• 모델은 에피소드 기반 메타학습 설정에서 학습되며, 유도적 및 비유도적 설정 모두에서 ConvNet-4와 ResNet 백본을 사용한다.

실험 결과

연구 질문

• RQ1 삼중 주의 메커니즘이 소수의 샘플에서 학습하는 깊은 GNN에서 과도한 스무딩과 과적합을 효과적으로 줄일 수 있는가?
• RQ2 희소성 제약 조건이 있는 이웃 주의는 저샷 환경에서 GNN의 일반화 능력을 어떻게 향상시키는가?
• RQ3 계층 메모리 주의는 더 깊은 아키텍처에서 구분 능력 있는 특징을 얼마나 잘 유지하는가?
• RQ4 제안된 Attentive GNN은 기존의 GNN 및 CNN 기반 방법보다 표준 소수의 샘플에서 학습하는 벤치마크에서 슈퍼리어한 성능을 보이는가?
• RQ5 제안된 주의 모듈의 향상된 내성적 안정성과 확장성에 대한 이론적 근거는 무엇인가?

주요 결과

• Attentive GNN은 mini-ImageNet과 tiered-ImageNet 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존의 GNN 및 CNN 기반 방법을 모두 능가한다.
• 이론적 분석을 통해 이웃 주의가 $\epsilon$-스무딩이 발생하기까지 허용 가능한 레이어 수를 늘림으로써 과도한 스무딩에 대한 저항력이 향상됨을 확인하였다.
• 같은 $\epsilon$ 임계값 하에서, 제안된 주의 모듈을 사용할 경우 특징 공간 내에서의 차원 감소가 크게 감소함을 $\Theta_{T(\tilde{\mathbf{G}},\epsilon),\tilde{\mathbf{G}}} < \Theta_{T(\mathbf{G},\epsilon),\mathbf{G}}$ 를 통해 입증하였다.
• 광범위한 추상화 실험을 통해 삼중 주의 메커니즘의 각 구성 요소가 성능 향상에 기여하며, 특히 그래프 연결의 희소화에 있어 이웃 주의의 기여가 두드러짐을 확인하였다.
• 모델은 유도적 및 비유도적 설정 모두에서 잘 일반화되며, 기준 GNN 및 메타학습 모델보다 일관되게 향상된 성능을 보였다.
• 저자들은 주의 메커니즘이 특징의 구분 능력을 향상시키고 특징 붕괴를 줄임을 이론적 근거와 시각화 자료를 통해 제시하였다.