[논문 리뷰] Graph Neural Networks with Generated Parameters for Relation Extraction

Hao Zhu, Yankai Lin외 4명|arXiv (Cornell University)|2019. 02. 02.

Topic Modeling참고 문헌 29인용 수 26

한 줄 요약

이 논문은 자연어 입력으로부터 동적으로 GNN 가중치를 생성하는 그래프 신경망(GP-GNNs)을 제안한다. 이를 통해 비구조화된 텍스트에서 다단계 관계 추론을 가능하게 한다. 텍스트적 맥락을 간선 파라미터로 인코딩하고 반복적인 메시지 전달을 수행함으로써, GP-GNNs는 관계 추출에서 기존의 베이스라인을 크게 능가하며, 인간이 애너테이션한 데이터셋과 원거리 감독 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 다단계에 걸친 추론을 향상시켜 이룬 성과이다.

ABSTRACT

Recently, progress has been made towards improving relational reasoning in machine learning field. Among existing models, graph neural networks (GNNs) is one of the most effective approaches for multi-hop relational reasoning. In fact, multi-hop relational reasoning is indispensable in many natural language processing tasks such as relation extraction. In this paper, we propose to generate the parameters of graph neural networks (GP-GNNs) according to natural language sentences, which enables GNNs to process relational reasoning on unstructured text inputs. We verify GP-GNNs in relation extraction from text. Experimental results on a human-annotated dataset and two distantly supervised datasets show that our model achieves significant improvements compared to baselines. We also perform a qualitative analysis to demonstrate that our model could discover more accurate relations by multi-hop relational reasoning.

연구 동기 및 목표

• 기존의 GNN이 직접적으로 수행할 수 없는 비구조화된 자연어 입력에서 그래프 신경망이 다단계 관계 추론을 수행할 수 있도록 하는 것.
• 오픈 도메인 텍스트에 적용할 때 표준 GNN의 사전 정의된 그래프와 고정된 간선 유형의 한계를 해결하는 것.
• 텍스트적 맥락에서 직접 GNN 파라미터(가중치)를 생성하는 프레임워크를 개발하여 더 풍부하고 맥락 인식 기반의 메시지 전달을 가능하게 하는 것.
• 모델의 효과성을 관계 추출 작업에서 검증하는 것, 특히 간접적 또는 추론된 관계를 발견하는 데서의 성능을 평가하는 것.
• 다단계 관계 추출 모델을 평가하기 위한 세 가지 새로운 데이터셋—두 개의 원거리 감독 데이터셋과 하나의 인간 애너테이션 데이터셋—을 제공하는 것.

제안 방법

• 자연어 문장 내의 실체들로부터 완전히 연결된 그래프를 구성하며, 각 실체를 노드로 간주한다.
• 텍스트적 맥락을 GNN의 간선 가중치(파라미터)로 인코딩하는 파라미터 생성 모듈을 활용하여 맥락 민감도가 있는 메시지 전달을 가능하게 한다.
• 여러 레이어를 거쳐 메시지 전달을 수행함으로써 관계 정보를 전파하며, 각 레이어는 점차 증가하는 홉 거리를 캡처한다.
• 노드 표현에 분류 헤드를 적용하여 목표 실체 쌍 간의 관계를 예측한다.
• 메시지 전달 과정에서 다양한 관계의 중요도를 가중치로 부여하기 위해 어텐션 메커니즘을 통합한다.
• 관계 예측에 대한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련하며, 역전파를 통해 파라미터를 갱신한다.

실험 결과

연구 질문

• RQ1 기존의 GNN이 사전 정의된 그래프가 아닌 비구조화된 자연어 텍스트에서 직접적으로 다단계 관계 추론을 수행할 수 있도록 GNN을 적응시킬 수 있는가?
• RQ2 텍스트적 맥락에서 GNN 파라미터를 생성하는 방식이 고정 또는 공존 기반 모델에 비해 추론 성능을 얼마나 향상시키는가?
• RQ3 메시지 전달 레이어의 수를 늘일수록 관계 추출 정확도가 얼마나 향상되는가, 특히 간접적 또는 장거리 관계에서의 성능 향상 정도는 어떠한가?
• RQ4 중간 실체를 통해 추론함으로써 지식 기반에 명시적으로 기록되지 않은 관계를 모델이 발견할 수 있는가?
• RQ5 잡음에 대한 저항성 측면에서, 공존 기반의 베이스라인과 비교했을 때 모델의 내성성은 어떠한가?

주요 결과

• 3층 GP-GNN이 모든 데이터셋에서 최고의 성능을 기록하며, 더 깊은 추론이 관계 추출 정확도 향상에 기여함을 입증한다.
• 인간 애너테이션 데이터셋과 원거리 감독 데이터셋 양쪽 모두에서 강력한 베이스라인인 Context-Aware RE를 능가하며, 특히 복잡한 문장에서 뚜렷한 성능 향상을 보였다.
• 예를 들어 '루크 베송은 영어를 구사한다'와 같은 이전에 본 적 없는 관계를, '감독하다'와 '원본 언어' 등의 중간 사실을 통해 추론함으로써 성공적으로 도출하였다.
• 정성적 분석을 통해 GP-GNN이 전이 추론(예: '소유자'와 '위치'는 '위치에 있음'을 암시함)과 같은 논리적 추론 패턴을 학습하는 것으로 확인되었으며, 공존 기반 모델은 이러한 패턴을 포착하지 못한다.
• 관계 공존에 의존하지 않기 때문에, '공유 국경을 가진다'는 예측을 잘못으로 생략함으로써 임의의 예측을 피하는 경향을 보였다. 예를 들어 '위치에 있다'가 관련 관계일 경우 '공유 국경을 가진다'는 관계는 정확히 생략되었다.
• 밀도가 높은 원거리 애너테이션 데이터셋에서는 전체 원거리 감독 데이터셋보다 3층 모델의 성능 향상 폭이 더 크며, 이는 고실체 밀도 맥락에서 더 큰 이점을 얻고 있음을 시사한다.