[논문 리뷰] GNN is a Counter? Revisiting GNN for Question Answering

Kuan Wang, Yuyu Zhang외 3명|arXiv (Cornell University)|2021. 10. 07.

Topic Modeling참고 문헌 64인용 수 12

한 줄 요약

이 논문은 지식 그래프 상에서 소프트 간선/노드 카운터로 기능하는 1차원 은닉 상태만을 갖는 최소한의 그래프 신경망인 그래프 소프트 카운터(GSC)를 제안한다. 최신 GNNs의 1퍼센트 미만의 파라미터를 가진다 해도 GSC는 CommonsenseQA와 OpenBookQA에서 그들을 능가하며, 이는 기존의 복잡한 GNN 모듈이 고도의 추론을 수행하기보다는 단순한 세기 작업을 수행하고 있을 수 있음을 시사한다.

ABSTRACT

Question Answering (QA) has been a long-standing research topic in AI and NLP fields, and a wealth of studies have been conducted to attempt to equip QA systems with human-level reasoning capability. To approximate the complicated human reasoning process, state-of-the-art QA systems commonly use pre-trained language models (LMs) to access knowledge encoded in LMs together with elaborately designed modules based on Graph Neural Networks (GNNs) to perform reasoning over knowledge graphs (KGs). However, many problems remain open regarding the reasoning functionality of these GNN-based modules. Can these GNN-based modules really perform a complex reasoning process? Are they under- or over-complicated for QA? To open the black box of GNN and investigate these problems, we dissect state-of-the-art GNN modules for QA and analyze their reasoning capability. We discover that even a very simple graph neural counter can outperform all the existing GNN modules on CommonsenseQA and OpenBookQA, two popular QA benchmark datasets which heavily rely on knowledge-aware reasoning. Our work reveals that existing knowledge-aware GNN modules may only carry out some simple reasoning such as counting. It remains a challenging open problem to build comprehensive reasoning modules for knowledge-powered QA.

연구 동기 및 목표

• 지식 기반 질의 응답에서 사용되는 복잡한 GNN 모듈이 진정으로 고도의 추론을 수행하는지, 아니면 단순한 연산에 국한되어 있는지 조사하기 위해.
• 기존 최신 GNN 기반 QA 시스템의 아키텍처 구성 요소를 분석하여 실제 추론 능력을 진단하기 위해.
• 기존 GNN 모듈이 과도하게 파rameter화되어 있는지, 그리고 더 단순한 모델이 뛰어난 성능을 낼 수 있는지 확인하기 위해.
• 필수 추론 기능을 포괄하는 최소화되고 해석 가능하며 효율적인 추론 모듈을 설계하기 위해.

제안 방법

• 개별 GNN 레이어와 초기 노드 임베딩의 기여도를 평가하기 위해 진단 도구로 희소 변동 드롭아웃(SparseVD)을 적용하기 위해.
• 지식 그래프 내 간선과 노드에 대해 소프트 카운팅을 수행하는 1차원 은닉 상태를 갖는 GNN인 그래프 소프트 카운터(GSC)를 설계하기 위해.
• 사전 학습된 지식 그래프 임베딩이나 추가적인 노드 점수 매기기 메커니즘 없이 간선 및 노드 특징만을 사용하기 위해.
• GSC 성능과 비교하기 위해 두 층의 MLP를 갖는 하드 간선 카운팅 모델을 베이스라인으로 사용하기 위해.
• 모델 동작을 레이어 간 소프트 카운트 값 시각화를 통해 추적하여 해석 가능성 확보하기 위해.
• CommonsenseQA와 OpenBookQA에서 최신 GNNs(GA-GNN, MHGRN, KagNet 등)와 GSC를 비교하기 위해 벤치마킹 수행하기 위해.

실험 결과

연구 질문

• RQ1 지식 기반 QA 시스템의 기존 GNN 모듈이 진정으로 복잡한 추론을 수행하고 있는가, 아니면 단순한 연산에 국한되어 있는가?
• RQ2 개별 GNN 레이어와 초기 노드 임베딩이 추론 성능에 기여하는 실제 비중은 얼마인가?
• RQ3 GSC처럼 최소화되고 파rameter 효율적인 모델이 QA에서 복잡한 GNN 아키텍처를 능가할 수 있는가?
• RQ4 간선 카운팅은 지식 기반 QA의 추론 과정에서 어느 정도 기여하는가?

주요 결과

• 최신 GNNs의 1퍼센트 미만의 파라미터를 갖는 그래프 신경 카운터인 GSC는 CommonsenseQA와 OpenBookQA 양쪽 모두에서 그들을 능가한다.
• CommonsenseQA에서 GSC는 78.78%의 정확도를 기록하여 QA-GNN(78.32%)과 MHGRN(73.89%)를 뛰어넘었으며, 그만큼의 극단적인 단순성에도 불구하고 성능을 확보했다.
• SparseVD 분석 결과, 많은 GNN 레이어와 초기 노드 임베딩가 불필요한 것으로 드러나 과도한 파라미터화가 있음을 시사한다.
• 두 층의 MLP를 갖는 하드 간선 카운팅 모델은 GSC와 유사한 성능을 내며, 일부 GNN 베이스라인을 초월하는 성능을 기록했다.
• GSC의 소프트 카운트 값은 매우 해석 가능하여 각 답변 선택지에 대한 모델 점수 산정 과정을 직접 추적할 수 있었다.
• 모델 성능 순위(GSC > QA-GNN > MHGRN > RoBERTa)는 간선 겹침 비율 순위와 매우 유사하여, 이들 모델이 모두 카운팅 중심의 유사한 추론 행동을 보이고 있음을 시사한다.