[논문 리뷰] KGCleaner : Identifying and Correcting Errors Produced by Information Extraction Systems

Ankur Padia, Francis Ferraro외 1명|arXiv (Cornell University)|2018. 08. 15.

Topic Modeling참고 문헌 14인용 수 4

한 줄 요약

KGCleaner는 정보 추출 시스템에 의해 추출된 지식 기반 사실의 오류를 동시에 식별하고 수정하는 다중 작업 프레임워크이다. 얕은 신경망을 사용하여 신뢰성 여부를 분류하고 잘못된 관계를 수정함으로써, 위키데이터에서 F1 점수 30포인트 향상과 데이터셋 특성에 따라 두 배 이상의 개선을 이룬다.

ABSTRACT

KG Cleaner is a framework to identify and correct errors in data produced and delivered by an information extraction system. These tasks have been understudied and KG Cleaner is the first to address both. We introduce a multi-task model that jointly learns to predict if an extracted relation is credible and repair it if not. We evaluate our approach and other models as instance of our framework on two collections: a Wikidata corpus of nearly 700K facts and 5M fact-relevant sentences and a collection of 30K facts from the 2015 TAC Knowledge Base Population task. For credibility classification, we find that parameter efficient, simple shallow neural networks can achieve an absolute performance gain of 30 F1 points on Wikidata and comparable performance on TAC. For the repair task, significant performance (at more than twice) gain can be obtained depending on the nature of the dataset and the models.

연구 동기 및 목표

• 정보 추출 시스템에서 유도된 지식 기반 인덱스의 오류 식별 및 수정 문제에 대해 다루지 않은 문제를 해결하기 위해.
• 신뢰성 예측과 관계 수리 작업을 동시에 학습하는 통합 프레임워크를 개발하기 위해.
• 위키데이터 및 2015년 TAC KBP 벤치마크를 포함한 다양한 실제 데이터셋에서 프레임워크를 평가하기 위해.
• 간단하고 파rameter 효율적인 모델이 신뢰성 분류에서 복잡한 베이스라인을 능가할 수 있음을 입증하기 위해.
• 다양한 데이터 분포와 모델 유형에서 수리 성능 향상 정도를 정량화하기 위해.

제안 방법

• 프레임워크는 신뢰성 분류와 관계 수리 작업 간의 표현을 공유하는 다중 작업 학습 아키텍처를 사용한다.
• 신뢰성 예측을 위해 얕고 파rameter 효율적인 신경망을 사용하여 추출된 관계가 신뢰할 수 있는지 여부를 예측한다.
• 수리 작업에서는 신뢰성이 낮을 경우 어텐션 메커니즘을 사용한 시퀀스 투 시퀀스 생성을 통해 수정된 관계 삼중항을 생성한다.
• 학습은 약 70만 개의 사실과 500만 개의 관련 문장이 포함된 위키데이터 코퍼스와 3만 개의 사실로 구성된 TAC KBP 데이터셋 두 개의 데이터셋에서 수행된다.
• 양방향 목표인 신뢰성 예측과 수리 생성의 엔드 투 엔드 최적화를 통한 공동 학습이 이루어진다.
• 문장의 문맥적 특징을 활용하여 신뢰성 평가와 수리 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 작업 학습 프레임워크는 추출된 지식 기반 사실의 오류를 효과적으로 식별하고 수정할 수 있는가?
• RQ2 지식 기반 사실의 신뢰성 분류에서 얕은 신경망은 더 복잡한 모델보다 어떻게 비교되는가?
• RQ3 신뢰성과 수리 작업의 공동 학습이 전체 성능에 얼마나 기여하는가?
• RQ4 성능은 다양한 데이터셋과 오류 유형에 따라 어떻게 달라지는가?
• RQ5 모델의 복잡성과 파rameter 효율성은 신뢰성 및 수리 작업에 어떤 영향을 미치는가?

주요 결과

• 얕은 신경망은 기존 베이스라인 모델 대비 위키데이터 데이터셋에서 신뢰성 분류 성능을 절대적으로 F1 점수 30포인트 향상시켰다.
• TAC KBP 데이터셋에서는 더 복잡한 아키텍처와 비교해 유사한 성능을 달성하여 다양한 데이터셋에서의 강건성을 입증했다.
• 수리 작업은 데이터셋과 모델 구성에 따라 두 배 이상의 성능 향상을 기록했다.
• 신뢰성과 수리 작업의 공동 학습은 특히 복잡하거나 노이즈가 많은 데이터 분포에서 뚜렷한 성능 향상을 이끌어냈다.
• 위키데이터와 TAC KBP를 포함한 다양한 지식 기반 인덱스에 대해 뛰어난 일반화 능력을 보였다.
• 성능을 저하시키지 않은 채로 파rameter 효율성을 유지하여 실세계 적용에 있어 확장 가능하고 실용적인 접근을 제공했다.