[논문 리뷰] Knowledge Graph - Deep Learning: A Case Study in Question Answering in Aviation Safety Domain

Ankush Agarwal, Raj Gite외 7명|arXiv (Cornell University)|2022. 05. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 항공안전 분야의 지식 그래프(KG)와 딥러닝(DL) 기반 질문응답(QA) 시스템을 제안하며, NTSB 사고 보고서를 도메인 특화 지식 그래프에 통합하고 BERT-QA 및 GPT-3-QA 모델과 결합한다. 하이브리드 시스템은 BERT-QA 단독 사용 대비 최대 40.3% 높은 정확도와 KGQA 단독 사용 대비 29.3% 높은 정확도를 달성하여, 복잡한 항공안전 질문에 대한 QA 성능 향상에서 KG와 DL이 상호 보완적임을 입증한다.

ABSTRACT

In the commercial aviation domain, there are a large number of documents, like, accident reports (NTSB, ASRS) and regulatory directives (ADs). There is a need for a system to access these diverse repositories efficiently in order to service needs in the aviation industry, like maintenance, compliance, and safety. In this paper, we propose a Knowledge Graph (KG) guided Deep Learning (DL) based Question Answering (QA) system for aviation safety. We construct a Knowledge Graph from Aircraft Accident reports and contribute this resource to the community of researchers. The efficacy of this resource is tested and proved by the aforesaid QA system. Natural Language Queries constructed from the documents mentioned above are converted into SPARQL (the interface language of the RDF graph database) queries and answered. On the DL side, we have two different QA models: (i) BERT QA which is a pipeline of Passage Retrieval (Sentence-BERT based) and Question Answering (BERT based), and (ii) the recently released GPT-3. We evaluate our system on a set of queries created from the accident reports. Our combined QA system achieves 9.3% increase in accuracy over GPT-3 and 40.3% increase over BERT QA. Thus, we infer that KG-DL performs better than either singly.

연구 동기 및 목표

• 대규모 비정형 항공 문서, 예를 들어 NTSB 사고 보고서와 ADs에서 복잡한 안전 관련 정보를 효율적으로 검색하고 이해하는 데 도전 과제를 해결하기 위해.
• NTSB 사고 보고서에서 도메인 특화 온톨로지와 정보 추출 기법을 사용해 항공기 사고와 관련된 실체와 관계를 표현하는 도메인 특화 지식 그래프를 구축하기 위해.
• 구조화된 SPARQL 쿼리 기반의 지식 그래프와 비구조화된 텍스트 추출 기반의 딥러닝 모델의 강점을 융합해 정확도를 향상시킨 하이브리드 질문응답 시스템을 개발하기 위해.
• 수집된 자연어 질문 세트를 대상으로 하이브리드 시스템의 성능을 단독 KG 및 DL QA 모델과 비교 평가하기 위해.

제안 방법

• 정보 추출 기법과 도메인 특화 온톨로지를 사용해 NTSB 사고 보고서에서 항공기, 조종사, 원인 등의 실체와 관계를 표현하는 항공 지식 그래프를 구축하였다.
• 규칙 기반 자연어 → SPARQL 변환 파이프라인을 사용해 자연어 질문을 SPARQL 쿼리로 변환하고, RDF 데이터베이스에서 답변을 검색하는 지식 그래프 기반 QA 모듈을 구현하였다.
• 사고 보고서의 원본 텍스트에 대해 BERT-QA 및 GPT-3-QA 두 가지 딥러닝 기반 QA 모델을 구동하여 비구조화된 문서에서 직접 답변을 추출하였다.
• 지식 그래프 기반 QA(KGQA)와 딥러닝 기반 QA(DLQA) 모듈의 출력을 융합하기 위해 두 시스템의 상위 10개 답변을 통합하였으며, 구조화된 데이터 처리와 비구조화된 데이터 처리의 상호보완적 강점을 활용하였다.
• 수작업으로 작성된 사고 보고서 기반 질문을 사용해 시스템을 평가하였으며, 정확도 측정 지표로 정확한 일치, 의미적 정확도, 의미적 재현율을 사용하였다.
• 최종 답변 선택을 향상시키기 위해 재정렬 또는 융합 프레임워크를 사용하였으며, GPT-3-QA는 복잡한 추론 작업에서 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 NTSB 사고 보고서에서 구축된 지식 그래프가 항공안전 분야에서 관계 기반의 질문응답을 효과적으로 지원할 수 있는가?
• RQ2 지식 그래프를 딥러닝 모델과 융합함으로써, 개별적으로 사용할 경우와 비교해 QA 정확도가 어떻게 향상되는가?
• RQ3 BERT-QA와 GPT-3-QA 모델은 항공안전 문서의 복잡한 다단계 질문을 해결하는 데 있어 어떤 정도의 능력 차이를 보이는가?
• RQ4 NL2SPARQL 파이프라인의 한계는 무엇이며, 이를 통해 지식 그래프 기반 QA 성능에 어떤 영향을 미치는가?
• RQ5 하이브리드 시스템은 단독으로 사용할 경우의 커버리지 및 추론 한계를 어떻게 극복할 수 있는가?

주요 결과

• 하이브리드 KGQA + BERT-QA 시스템은 단독 KGQA 모듈 대비 7% 향상된 정확도를 기록했으며, 단독 BERT-QA 모델 대비 40.3% 높은 정확도를 달성하였다.
• 하이브리드 KGQA + GPT3-QA 시스템은 KGQA 대비 29.3% 향상된 정확도를 기록했고, GPT3-QA 단독 사용 대비 9.3% 향상된 정확도를 기록하여 가장 뛰어난 성능을 보였다.
• KGQA 모듈은 NL2SPARQL 파이프라인이 다중 문장 추론이 필요한 복잡하거나 삼중관계 형식이 아닌 질문을 처리하지 못함으로써 제한을 받았다.
• BERT-QA 모델은 도메인 특화 미세조정이 이루어지지 않아 성능이 열등했으며, 이는 도메인 적응형 사전학습의 필요성을 시사한다.
• GPT-3-QA 모델은 다중 단계 질문에서 여러 단락의 정보가 필요한 경우에 어려움을 겪어 장기적 맥락 추론에서 핵심적인 한계를 드러냈다.
• 통합된 시스템은 구조화된 지식 그래프 추론과 비구조화된 텍스트 이해의 상호보완적 강점을 활용해 개별 구성 요소를 초월한 성능을 보였다.