[論文レビュー] Knowledge Graph - Deep Learning: A Case Study in Question Answering in Aviation Safety Domain

Ankush Agarwal, Raj Gite+7 more|arXiv (Cornell University)|May 31, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、航空安全分野におけるハイブリッド知識グラフ（KG）とディープラーニング（DL）ベースの質問応答（QA）システムを提案する。NTSB事故報告書を統合した分野特化型KGを構築し、BERT-QAおよびGPT-3-QAモデルと組み合わせる。ハイブリッドシステムは、BERT-QA単体と比較して最大40.3%、KGQA単体と比較して29.3%高い精度を達成し、KGとDLが複雑な航空安全関連の質問応答において互いに補完的であることを示している。

ABSTRACT

In the commercial aviation domain, there are a large number of documents, like, accident reports (NTSB, ASRS) and regulatory directives (ADs). There is a need for a system to access these diverse repositories efficiently in order to service needs in the aviation industry, like maintenance, compliance, and safety. In this paper, we propose a Knowledge Graph (KG) guided Deep Learning (DL) based Question Answering (QA) system for aviation safety. We construct a Knowledge Graph from Aircraft Accident reports and contribute this resource to the community of researchers. The efficacy of this resource is tested and proved by the aforesaid QA system. Natural Language Queries constructed from the documents mentioned above are converted into SPARQL (the interface language of the RDF graph database) queries and answered. On the DL side, we have two different QA models: (i) BERT QA which is a pipeline of Passage Retrieval (Sentence-BERT based) and Question Answering (BERT based), and (ii) the recently released GPT-3. We evaluate our system on a set of queries created from the accident reports. Our combined QA system achieves 9.3% increase in accuracy over GPT-3 and 40.3% increase over BERT QA. Thus, we infer that KG-DL performs better than either singly.

研究の動機と目的

• 大規模で非構造的な航空文書（例：NTSB事故報告書やADs）から、複雑な安全関連情報を効率的に抽出・理解する課題に対処すること。
• NTSB事故報告書から分野特化型の知識グラフを構築し、航空機事故に関連するエンティティと関係を表現すること。
• KGベースのSPARQLクエリとディープラーニングベースのテキスト抽出の長所を組み合わせたハイブリッドQAシステムを開発し、精度を向上させること。
• 手作業で作成された自然言語質問のセットを用いて、ハイブリッドシステムの性能を、独立したKGおよびDL QAモデルと比較して評価すること。

提案手法

• 情報抽出技術と分野特化型オントロジーを用いて、NTSB事故報告書から航空知識グラフを構築し、エンティティ（例：航空機、パイロット、原因）と関係を表現する。
• 自然言語質問をルールベースのNL2SPARQLパイプラインを用いてSPARQLクエリに変換し、RDFデータベースから答えを取得するKGベースのQAモジュールを実装する。
• 事故報告書の生テキストに、BERT-QAおよびGPT-3-QAの2つのDLベースのQAモデルを適用し、非構造的文書から直接答えを抽出する。
• KGQAおよびDLQAモジュールの出力を統合するために、両システムの上位10件の答えをマージし、構造的および非構造的データ処理の相補的利点を活用する。
• 事故報告書からの手作業で作成された質問を用いてシステムを評価し、正確一致、意味的精度、意味的再現率の指標で性能を測定する。
• 最終的な回答選択を改善するための再ランク付けまたは統合フレームワークを用い、GPT-3-QAは複雑な推論タスクで優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 NTSB事故報告書から構築した知識グラフは、航空安全分野における構造的で関係ベースの質問応答を効果的に支援できるか？
• RQ2 KGとディープラーニングモデルを統合することで、単体で使用する場合と比較してQA精度がどのように向上するか？
• RQ3 BERT-QAとGPT-3-QAモデルは、航空安全文書における複雑なマルチホップ質問を回答する能力に、どの程度差異を示すか？
• RQ4 NL2SPARQLパイプラインの限界は何か？また、それらはKGベースのQA性能にどのように影響を与えるか？
• RQ5 ハイブリッドシステムは、単体のKGおよびDL QAモジュールのカバレッジおよび推論の制限を克服できるか？

主な発見

• ハイブリッドKGQA + BERT-QAシステムは、単体のKGQAモジュールと比較して7%の精度向上を達成し、単体のBERT-QAモデルと比較して40.3%の向上を示した。
• ハイブリッドKGQA + GPT3-QAシステムは、KGQAと比較して29.3%の精度向上を達成し、GPT3-QA単体と比較して9.3%の向上を示し、最良の性能を示した。
• KGQAモジュールは、NL2SPARQLパイプラインが複雑な、または三項形式でないクエリ（例：複数文にまたがる推論を要するもの）を処理できないことにより制限を受けていた。
• BERT-QAモデルは、分野特化型のファインチューニングが不足していたため性能が低く、分野適応型の事前学習の必要性を示唆していた。
• GPT-3-QAモデルは、複数の段落から情報を統合する必要があるマルチホップ質問に対して苦戦しており、長文の文脈推論における主な限界を示していた。
• 統合されたシステムは、構造的KG推論と非構造的テキスト理解の相補的利点を活用することで、個々のモジュールを上回る性能を発揮した。