[논문 리뷰] Dynamic Relevance Graph Network for Knowledge-Aware Question Answering

Zheng Chen, Parisa Kordjamshidi|arXiv (Cornell University)|2022. 09. 20.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 지식 그래프 부분그래프 내 노드 간의 유사도 점수를 동적으로 학습하여 누락된 간선을 복구하고 다단계 추론을 향상시키기 위해 동적 유사도 그래프 신경망(DRGN)을 제안한다. 질문-노드 어텐션과 학습 가능한 유사도 행렬을 통합함으로써 DRGN은 공통 지식 QA 및 오픈북 QA에서 추론 성능을 향상시키며, 구성 요소 최적화에 기반한 추론 분석을 통해 공통 지식 QA에서 개발 정확도 78.2%의 최신 기술 성능을 달성한다.

ABSTRACT

This work investigates the challenge of learning and reasoning for Commonsense Question Answering given an external source of knowledge in the form of a knowledge graph (KG). We propose a novel graph neural network architecture, called Dynamic Relevance Graph Network (DRGN). DRGN operates on a given KG subgraph based on the question and answers entities and uses the relevance scores between the nodes to establish new edges dynamically for learning node representations in the graph network. This explicit usage of relevance as graph edges has the following advantages, a) the model can exploit the existing relationships, re-scale the node weights, and influence the way the neighborhood nodes' representations are aggregated in the KG subgraph, b) It potentially recovers the missing edges in KG that are needed for reasoning. Moreover, as a byproduct, our model improves handling the negative questions due to considering the relevance between the question node and the graph entities. Our proposed approach shows competitive performance on two QA benchmarks, CommonsenseQA and OpenbookQA, compared to the state-of-the-art published results.

연구 동기 및 목표

• 지능형 질문 응답에 사용되는 지식 그래프 부분그래프 내 누락되거나 불완전한 간선 문제를 해결하기 위해.
• 지식 그래프가 관련 엔티티 간에 직접 연결이 없을 경우 다단계 경로를 통한 추론을 향상시키기 위해.
• 특히 부정어를 포함한 질문 의미를 그래프 기반 추론에 보다 잘 통합하기 위해 질문과 그래프 엔티티 간의 유사도를 모델링함으로써.
• 학습 중에 노드 표현 간의 유사도에 기반해 간선 연결을 동적으로 학습하고 적응하는 그래프 신경망 아키텍처를 개발하기 위해.
• 공통 지식 QA 및 오픈북 QA와 같은 벤치마크 QA 데이터셋에서 경쟁 가능한 성능을 달성하면서 부정 질문에 대한 강건성도 향상시키기 위해.

제안 방법

• DRGN은 질문과 외부 지식에 기반해 지식 그래프 부분그래프를 구성하며, 질문 노드를 중심 엔티티로 포함한다.
• 현재 레이어의 표현 간 내적곱을 사용해 모든 노드 쌍 간의 동적 유사도 점수를 계산함으로써 각 GNN 레이어에서 유사도 행렬을 형성한다.
• 유사도 행렬을 사용해 메시지 전파 중 이웃 기여도를 재가중함으로써 누락되거나 간접적인 연결을 복구할 수 있는 동적 간선 생성을 가능하게 한다.
• 지식 그래프 부분그래프에 다수의 관계 유형을 통합하고, 구조적 정보를 유지하기 위해 관계 기반 GNN 백본(R-GCN)을 사용한다.
• 질문 노드는 임bedding 처리되어 모든 엔티티와 연결되며, 이로써 모델은 질문과 잠재적 답변 후보 간의 의미적 유사도에 주목할 수 있다.
• 다중 GNN 레이어를 거친 후 동적 유사도 집합을 반영한 업데이트된 노드 표현에 분류기 적용을 통해 최종 답변을 예측한다.

실험 결과

연구 질문

• RQ1 지식 그래프 부분그래프 내 누락된 간선을 동적 그래프 신경망이 복구하여 다단계 질문 응답 추론 성능을 향상시킬 수 있는가?
• RQ2 질문-엔티티 유사도를 통합함으로써 부정 질문에서의 성능 향상은 어떻게 달성되며, 이는 부정을 고려한 추론이 가능하게 하는가?
• RQ3 학습 가능한 유사도 행렬이 정적 그래프 구조에 비해 노드 표현 학습에 얼마나 기여하는가?
• RQ4 동적 유사도 메커니즘이 지식 기반 질문 응답 작업에서 정적 또는 고정 간선 그래프 네트워크보다 우월한가?
• RQ5 DRGN의 개별 구성 요소—예를 들어 질문 노드, 관계 간선, 동적 유사도—는 전체 성능에 얼마나 기여하는가?

주요 결과

• DRGN은 공통 지식 QA 벤치마크에서 개발 정확도 78.2%를 달성하여 아웃라이어 변형보다 뚜렷이 뛰어난 성능을 보였다.
• 아웃라이어 분석 결과, 동적 유사도 행렬을 추가함으로써 성능 향상이 가장 크게 발생했으며(74.9%에서 78.2%로), 이는 핵심적인 역할을 함을 입증했다.
• 그래프에 질문 노드를 포함시킴으로써 성능이 73.7%에서 74.9%로 향상되었으며, 명시적 질문-엔티티 유사도 모델링의 가치를 확인했다.
• 모델은 오픈북 QA에서도 경쟁 가능한 성능을 유지하여 단일 벤치마크를 초월한 일반화 능력을 보였다.
• GNN 레이어 수가 4개까지 증가할수록 성능 향상이 관찰되어, 동적 유사도를 통한 깊은 메시지 전파가 유익함을 시사했다.
• DRGN의 시간 복잡도는 MHGRN과 같은 기준 모델과 유사하지만, 동적 유사도 행렬로 인해 공간 복잡도는 略로 높아졌으며, 성능 향상에 비례하는 것으로 설명된다.