[논문 리뷰] Relational Graph Representation Learning for Open-Domain Question Answering

Salvatore Vivona, Kaveh Hassani|arXiv (Cornell University)|2019. 10. 18.

Topic Modeling참고 문헌 27인용 수 7

한 줄 요약

이 논문은 개방형 도메인 질의 응답을 위한 관계형 그래프 신경망을 제안하며, 이중 방향 주의 메커니즘과 계층적 표현 학습을 통해 질의, 지식 그래프, 연결된 문서를 공동으로 모델링한다. WebQuestionsSP에서 최신 기술 수준을 달성하여, GRAFT-Net과 같은 이전 모델보다 우수한 성능을 보이며, 마이크로-F1은 72.6%, Hits@1은 68.2%를 기록한다.

ABSTRACT

We introduce a relational graph neural network with bi-directional attention mechanism and hierarchical representation learning for open-domain question answering task. Our model can learn contextual representation by jointly learning and updating the query, knowledge graph, and document representations. The experiments suggest that our model achieves state-of-the-art on the WebQuestionsSP benchmark.

연구 동기 및 목표

• 단일 소스 기반 질문 응답의 한계를 해결하기 위해 질의, 지식 그래프, 문서를 공동으로 모델링한다.
• 엔티티와 문서 간의 문맥 기반 관계 표현을 학습하여 개방형 QA에서 정답 정확도를 향상시킨다.
• 고정된 관계 표현의 단점을 보완하기 위해 학습 가능한, 문서 문맥 기반 관계 임베딩을 도입한다.
• 이중 주의 메커니즘을 통해 이질적인 방향성 관계를 파악함으로써 지식 그래프 내 메시지 전달을 향상시킨다.
• 그래프 굴곡 및 클러스터 기반 집합을 통한 계층적 표현 학습을 통해 수신 영역과 성능을 향상시킨다.

제안 방법

• 문서를 문맥 기반 관계로 간주하여 지식 그래프를 보완하고, 공시 출현하는 엔티티 간에 학습 가능한 임베딩을 가진 이중 방향 간선을 형성한다.
• 이중 주의 메커니즘을 도입하여 이질적인 방향성 그래프의 정방향 및 역방향 간선 표현 간의 주의 점수를 계산한다.
• 노드를 클러스터에 할당하기 위해 학습 가능한 선형 레이어를 적용하여 노드 및 클러스터 표현의 계층적 집합을 가능하게 한다.
• 다층 메시지 전달 메커니즘을 적용하여 들어오는 및 나가는 간선으로부터 주의를 기반으로 한 메시지를 사용해 노드 표현을 업데이트한다.
• 모든 레이어에서의 최종 노드 표현과 클러스터 기반 표현을 연결한 후, 시그모이드 활성화 함수를 사용하는 최종 분류기 적용한다.
• 사전 훈련된 TransE와 GloVe 임베딩을 사용한 BiLSTM를 활용해 엔티티, 관계, 질의, 문서 임베딩을 초기화한다.

실험 결과

연구 질문

• RQ1 질의, 지식 그래프, 문서 표현을 공동으로 학습함으로써 개방형 도메인 질문 응답 성능을 향상시킬 수 있는가?
• RQ2 고정된 관계 표현 대비 문서를 문맥 기반 관계로 모델링할 경우 정답 정확도가 향상되는가?
• RQ3 이중 주의 메커니즘이 이질적이고 방향성 있는 지식 그래프에서 메시지 전달을 향상시킬 수 있는가?
• RQ4 그래프 굴곡을 통한 계층적 집합이 성능 향상과 수신 영역 확장에 얼마나 기여하는가?
• RQ5 각 개별 구성 요소(예: 이중 주의, 문서 기반 관계, 클러스터링)가 최종 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 모델은 WebQuestionsSP 벤치마크에서 마이크로-F1 점수 72.6%를 기록하여 이전 최신 기술 수준인 GRAFT-Net(마이크로-F1 66.0%)을 초월한다.
• Hits@1은 68.2%로, GRAFT-Net(67.8%) 대비 0.4점 향상되었다.
• 제거 실험 결과, 제안된 구성 요소인 이중 주의, 문서 기반 관계, 계층적 집합이 성능 향상에 뚜렷한 기여를 한다는 것이 확인되었다.
• 모델은 마크로-F1 62.5%와 평균 F1 61.7%를 기록하여 데이터셋의 균형 잡힌 및 불균형 요소 모두에서 우수한 성능을 보였다.
• 학습 가능한, 문서 인식 기반 관계 임베딩을 사용할 경우 고정된 관계 표현보다 텍스트적 맥락과 지식 그래프 사실 간의 일치도가 향상되었다.
• 계층적 집합 메커니즘은 효과적인 수신 영역을 증가시키고 표현 학습을 향상시켰으며, 제거 실험 결과 성능 향상으로 이를 입증하였다.