[논문 리뷰] Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks

Yu Chen, Lingfei Wu외 1명|arXiv (Cornell University)|2020. 04. 13.

Topic Modeling참고 문헌 92인용 수 21

한 줄 요약

이 논문은 지식 그래프(KG) 부분그래프에서 자연어 질문을 생성하기 위해 구조적 및 속성 정보를 유지하면서 양방향 Graph2Seq 모델에 노드 수준의 복사 메커니즘을 통합한 모델을 제안한다. 제안된 방법은 두 개의 벤치마크에서 기존 방법들을 능가하며 최신 기술 수준(SOTA) 성능을 달성했고, 데이터 증강을 통한 질의 응답 성능 향상에도 크게 기여한다.

ABSTRACT

Knowledge graph (KG) question generation (QG) aims to generate natural language questions from KGs and target answers. Previous works mostly focus on a simple setting which is to generate questions from a single KG triple. In this work, we focus on a more realistic setting where we aim to generate questions from a KG subgraph and target answers. In addition, most of previous works built on either RNN-based or Transformer based models to encode a linearized KG sugraph, which totally discards the explicit structure information of a KG subgraph. To address this issue, we propose to apply a bidirectional Graph2Seq model to encode the KG subgraph. Furthermore, we enhance our RNN decoder with node-level copying mechanism to allow directly copying node attributes from the KG subgraph to the output question. Both automatic and human evaluation results demonstrate that our model achieves new state-of-the-art scores, outperforming existing methods by a significant margin on two QG benchmarks. Experimental results also show that our QG model can consistently benefit the Question Answering (QA) task as a mean of data augmentation.

연구 동기 및 목표

• 기존 지식 그래프 질문 생성(KG-QG) 방법들이 단일 삼중항이나 선형화된 부분그래프에만 초점을 맞추어 풍부한 구조적 정보를 손실한다는 한계를 해결하기 위해.
• 그래프 기반 인코더를 통해 KG 부분그래프의 전체 구조적 및 속성 정보를 활용하여 질문 생성 품질을 향상시키기 위해.
• 직접적으로 KG 부분그래프의 노드 속성(예: 엔티티 이름)을 생성된 질문에 복사할 수 있도록 노드 수준의 복사 메커니즘을 도입하여 사실적 정확성과 자연스러움을 향상시키기 위해.
• 제안된 QG 모델이 지식 기반 질의 응답(KBQA)을 위한 데이터 증강 기법으로서의 효과를 평가하기 위해.
• 노드/엣지 임베딩 초기화 및 답변 표현 방식이 질문 생성 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 구조적 의존성을 그래프 신경망(GNN)을 통해 캡처하기 위해 순차적 인코더 대신 이중 방향 Graph2Seq 모델을 사용하여 KG 부분그래프를 인코딩한다.
• 노드 속성(예: 엔티티 이름 등)을 입력 KG 부분그래프에서 직접 생성된 질문으로 복사할 수 있도록 노드 수준의 복사 메커니즘을 도입하여 사실적 일관성을 향상시킨다.
• 노드 및 엣지 임베딩은 사전 훈련된 BERT 기반 표현과 관계별 특화 임베딩을 사용하여 의미적 및 관계 정보를 포괄하도록 초기화한다.
• 모델은 커버리지 메커니즘과 어텐션 기반 RNN 디코더를 활용하여 관련 부분그래프 구성 요소에 주의를 기울이며 토큰 단위로 질문을 생성한다.
• 다중관계 그래프 처리를 위해 GNN 인코더에서 관계 인식 메시지 전파를 통해 엣지별 의미를 유지한다.
• 답변 정보는 특정 노드가 목표 답변인지 여부를 나타내는 마크업 벡터를 통해 인코딩되어 질문의 초점을 이끌어낸다.

실험 결과

연구 질문

• RQ1 다단계 KG 질문 생성을 위해 구조적 정보를 캡처하는 데 있어 그래프 기반 인코더가 순차적 인코더보다 우월한가?
• RQ2 노드 수준의 복사 메커니즘이 직접적으로 엔티티 속성을 포함시킴으로써 생성된 질문의 사실적 정확성과 자연스러움을 향상시키는가?
• RQ3 KG 부분그래프에서 훈련된 QG 모델이 데이터 증강을 통해 하류의 KBQA 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 다양한 노드 및 엣지 임베딩 초기화 전략이 생성된 질문의 품질에 어떤 영향을 미치는가?
• RQ5 답변 인식 표현 방식이 생성된 질문의 관련성과 초점 집중도를 향상시키는가?

주요 결과

• 제안된 G2S+AE 모델은 두 개의 공개 KG-QG 벤치마크에서 기존 방법들을 크게 앞서며 새로운 최신 기술 수준(SOTA) 성능을 달성했다.
• 모델 성능은 노드 및 엣지 임베딩 초기화에 매우 민감하며, BERT 기반 초기화가 가장 우수한 성능을 보였다.
• 노드 수준의 복사 메커니즘이 높은 BLEU 및 ROUGE 점수와 더불어 인간 평가에서 엔티티 언급 정확도 향상으로서 사실적 일관성 향상을 입증했다.
• 모델은 항상 KBQA 성능을 향상시키며, 특히 훈련 데이터가 부족한 경우에 가장 높은 F1 점수 향상을 기록했다(5% 및 10% 데이터 비율에서).
• G2S+AE로 생성된 질문을 사용한 데이터 증강은 Transformer 기반 QG 모델의 질문을 사용한 경우보다 BAMnet KBQA 베이스라인의 F1 점수를 더 크게 향상시켰다.
• 커버리지 메커니즘이 성능 향상에 기여하지 않았는데, 이는 관련이 없는 부분그래프 튜플에 과도하게 주목하게 만들었기 때문이며, 이는 더 선택적 어텐션 메커니즘이 필요함을 시사한다.