[논문 리뷰] Recursive Graphical Neural Networks for Text Classification

Wei Li, Shuheng Li외 4명|arXiv (Cornell University)|2019. 09. 18.

Topic Modeling참고 문헌 30인용 수 11

한 줄 요약

이 논문은 텍스트 그래프 모델링에서의 과도한 스무딩 문제를 완화하기 위해 LSTM을 사용해 이웃 정보 집합을 동적으로 게이팅하는 새로운 GNN 아키텍처인 Recursive Graphical Neural Networks (ReGNN)를 제안한다. Attention 기반 이웃 집합과 글로벌 그래프 수준의 노드를 통합함으로써 ReGNN는 단일 및 다중 레이블 텍스트 분류 벤치마크에서 최신 기술 수준의 성능을 달성하며, 강력한 베이스라인들을 크게 능가하고 과도한 스무딩에 대해 뛰어난 내성성을 보여준다.

ABSTRACT

The complicated syntax structure of natural language is hard to be explicitly modeled by sequence-based models. Graph is a natural structure to describe the complicated relation between tokens. The recent advance in Graph Neural Networks (GNN) provides a powerful tool to model graph structure data, but simple graph models such as Graph Convolutional Networks (GCN) suffer from over-smoothing problem, that is, when stacking multiple layers, all nodes will converge to the same value. In this paper, we propose a novel Recursive Graphical Neural Networks model (ReGNN) to represent text organized in the form of graph. In our proposed model, LSTM is used to dynamically decide which part of the aggregated neighbor information should be transmitted to upper layers thus alleviating the over-smoothing problem. Furthermore, to encourage the exchange between the local and global information, a global graph-level node is designed. We conduct experiments on both single and multiple label text classification tasks. Experiment results show that our ReGNN model surpasses the strong baselines significantly in most of the datasets and greatly alleviates the over-smoothing problem.

연구 동기 및 목표

• 텍스트 분류에 적용할 때 그래프 신경망에서의 과도한 스무딩 문제를 해결하기 위해.
• RNN나 CNN이 달성할 수 있는 것 이상으로 장거리 의존성과 글로벌 컨텍스트를 모델링하기 위해.
• 로컬 단어 표현과 글로벌 문장 수준의 컨텍스트 사이의 정보 흐름을 개선하기 위해 그래프 수준의 노드를 통합하기 위해.
• LSTM 기반 게이팅을 사용해 선택적으로 노드 표현을 업데이트하는 동적이고 재귀적인 메시지 전달 메커니즘을 개발하기 위해.
• 단일 및 다중 레이블 설정 모두에서 표준 텍스트 분류 벤치마크에서 ReGNN의 효과성을 실증적으로 검증하기 위해.

제안 방법

• 토큰 간의 어근 공존 정보를 사용해 문법적 및 의미적 관계를 표현하는 텍스트 그래프를 구축한다.
• 현재 노드에 대한 관련성에 따라 가중치가 부여된 이웃 표현을 계산하기 위해 어텐션 메커니즘을 활용한다.
• 집계된 이웃 정보를 걸러내는 방식으로 노드 은닉 상태의 업데이트를 동적으로 제어하기 위해 LSTM 유닛을 사용한다.
• 모든 단어 노드에서 정보를 집계하고 이들과 상호작용함으로써 글로벌 인식 능력을 향상시키기 위해 글로벌 그래프 수준의 노드를 도입한다.
• LSTM 게이팅을 통해 표현 붕괴를 방지하면서도 여러 층을 거쳐 재귀적 메시지 전달을 적용한다.
• 분류를 위해 노드 표현의 마지막 풀링을 사용하며, backpropagation을 통한 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 게이팅 메커니즘이 텍스트 분류를 위한 깊은 그래프 신경망에서 과도한 스무딩을 효과적으로 줄일 수 있는가?
• RQ2 글로벌 그래프 수준의 노드가 텍스트 그래프에서 표현 학습에 어떻게 기여하는가?
• RQ3 제안된 ReGNN 모델이 단일 및 다중 레이블 텍스트 분류 작업 모두에서 강력한 베이스라인들을 능가하는가?
• RQ4 어떤 정도로 어텐션 기반 이웃 집합이 텍스트 그래프에서 장거리 의존성을 모델링하는 데 기여하는가?
• RQ5 GCN나 GraphSAGE와 같은 표준 GNN과 비교했을 때 제안된 아키텍처는 표현 안정성과 정확도 측면에서 어떻게 다른가?

주요 결과

• ReGNN는 R52 및 Reuters21578 데이터셋에서 최신 기술 수준의 성능을 달성했으며, R52에서 95.29%의 정확도와 Reuters21578에서 82.01%의 정확도를 기록했다.
• 제거 실험 결과, LSTM 구성 요소를 제거하면 R52에서 정확도가 95.29%에서 84.74%로 가장 크게 감소함을 확인하여, 과도한 스무딩 완화에 있어 핵심적인 역할을 한다는 것을 입증했다.
• 글로벌 노드가 없는 모델은 성능이 열악한 편이었으며(R52에서 93.85%), 이는 글로벌 컨텍스트 주입이 표현 품질 향상에 기여한다는 것을 시사한다.
• 어텐션 메커니즘이 중요한 기여를 한다는 점이 확인되었으며, 이를 제거하면 R52에서 정확도가 94.39%로 감소함을 통해 선택적 정보 집합의 중요성을 입증했다.
• 어텐션 히트맵의 시각화 결과, 모델이 관련 있는 단어들(예: 'grain' 레이블에 대해 'wheat')에 정확히 집중하고 있음을 확인했으며, 균일한 어텐션으로 붕괴되지 않았음을 확인했다.
• 코사인 거리 분석 결과, ReGNN는 GCN 및 GraphSAGE와 비교해 층 간에 더 높은 노드 표현 다양성을 유지함을 확인했으며, 과도한 스무딩 완화가 효과적으로 이루어졌음을 확인했다.