[논문 리뷰] OpenKI: Integrating Open Information Extraction and Knowledge Bases with Relation Inference

Dongxu Zhang, Subhabrata Mukherjee외 3명|arXiv (Cornell University)|2019. 04. 12.

Semantic Web and Ontologies참고 문헌 29인용 수 10

한 줄 요약

OpenKI는 지식 기반(KB)과 개방형 정보 추출(OpenIE)을 통합하는 공동 모델을 제안하며, 두 소스에서 유사한 엔티티의 근접 엔티티(embeddings)를 활용하여 관계 추론을 향상시킵니다. 엔티티 근접 엔티티에 대한 어텐션 메커니즘을 사용하여 엔티티별 전용 파rameter 없이 관계를 추론하며, OpenIE-to-KB 정렬 작업에서 최신 기술(SOTA) 대비 평균 33.5% 향상된 MAP 성능을 달성합니다.

ABSTRACT

In this paper, we consider advancing web-scale knowledge extraction and alignment by integrating OpenIE extractions in the form of (subject, predicate, object) triples with Knowledge Bases (KB). Traditional techniques from universal schema and from schema mapping fall in two extremes: either they perform instance-level inference relying on embedding for (subject, object) pairs, thus cannot handle pairs absent in any existing triples; or they perform predicate-level mapping and completely ignore background evidence from individual entities, thus cannot achieve satisfying quality. We propose OpenKI to handle sparsity of OpenIE extractions by performing instance-level inference: for each entity, we encode the rich information in its neighborhood in both KB and OpenIE extractions, and leverage this information in relation inference by exploring different methods of aggregation and attention. In order to handle unseen entities, our model is designed without creating entity-specific parameters. Extensive experiments show that this method not only significantly improves state-of-the-art for conventional OpenIE extractions like ReVerb, but also boosts the performance on OpenIE from semi-structured data, where new entity pairs are abundant and data are fairly sparse.

연구 동기 및 목표

• 관계가 정렬되지 않고 종종 중복되는 구조화된 지식 기반(KB)에 비해 OpenIE로 추출된 (주어, 서술어, 목적어) 삼중항을 정렬하는 데 도전합니다.
• 기존 방법의 한계를 극복합니다: 서술어 수준의 스키마 매핑는 엔티티별 맥락을 忽略하며, 인스턴스 수준의 추론은 엔티티별 전용 파rameter로 인해 새로운 엔티티에 대해 실패합니다.
• 특히 신규 엔티티 쌍이 풍부한 반구조화된 데이터에서 빈도가 낮고 정보가 희박한 OpenIE 환경에서 관계 추론 성능을 향상시킵니다.
• 다양한 엔티티에 대해 일반화할 수 있도록 엔티티별 전용 파rameter를 피하면서도, 엔티티 근접 엔티티에서 유래한 풍부한 맥락 신호를 활용합니다.
• 지식 기반과 OpenIE에서 유래한 그래프 기반 정보를 사용하여 소프트하고 세밀한 제약 조건을 학습하는 확장 가능한 종단 간(end-to-end) 모델을 설계합니다.

제안 방법

• 지식 기반과 OpenIE 추출 결과에서 유도된 관계 신호를 통합하여 각 엔티티 주변의 그래프 구조를 캡처하는 엔티티 근접 엔티티 임베딩을 구성합니다.
• 관계 추론 중에 근접한 관계와 서술어의 중요도를 동적으로 가중치를 부여하기 위해 어텐션 메커니즘을 사용하여 맥락 인식 추론을 가능하게 합니다.
• 엔티티 근접 엔티티 임베딩과 관계 수준 예측을 결합하는 공동 추론 모델을 설계하여, 엔티티별 전용 파rameter를 학습하지 않더라도 인덕티브 바이어스를 제공합니다.
• 예측 성능 최적화를 위해 근접 엔티티 특징에 대해 다양한 집계 전략(예: 평균, 최대값, 어텐션 기반)을 적용합니다.
• 텍스트적 및 구조적 신호를 모두 활용하여 OpenIE 서술어를 KB 관계에 정렬하는 기능을 갖춘 미분 가능한 손실 함수를 사용해 모델을 종단 간(end-to-end)으로 훈련합니다.
• 엔티티별 전용 임베딩이나 파rameter를 사용하지 않고 근접 엔티티 임베딩에 의존함으로써 새로운 엔티티에 대한 인덕티브 바이어스를 확보합니다.

실험 결과

연구 질문

• RQ1 지식 기반과 OpenIE 추출 결과에서 유래한 다중 소스 신호를 활용함으로써 OpenIE-to-KB 관계 정렬 성능을 향상시킬 수 있을까요?
• RQ2 엔티티별 전용 파rameter를 도입하지 않고도 새로운 엔티티에 대해 제로샷 추론을 지원하기 위해 엔티티별 맥락을 효과적으로 모델링할 수 있을까요?
• RQ3 KB와 OpenIE에서 유래한 근접 엔티티 임베딩이 서술어 수준 또는 인스턴스 수준 기반 대비 관계 추론 정확도를 얼마나 향상시킬 수 있을까요?
• RQ4 희박한 OpenIE 환경에서 단순 집계 방법보다 엔티티 근접 엔티티에 대한 어텐션 메커니즘이 더 나은 관련 관계 패턴을 포착할 수 있을까요?
• RQ5 두 소스에서 유래한 구조적 그래프 정보를 통합함으로써, 단순히 서술어 간 텍스트적 또는 의미적 유사도에 의존하는 방법보다 유의미하게 성능이 향상될 수 있을까요?

주요 결과

• OpenKI는 다양한 데이터셋에서 최신 기술 대비 평균 33.5% 향상된 평균 평균 정밀도(MAP) 성능을 달성하여 강력한 일반화 능력과 견고성을 입증합니다.
• 모델은 ReVerb 기반 OpenIE 기반 모델을 크게 능가하며, 새로운 엔티티 쌍이 자주 발생하고 데이터가 희박한 반구조화된 데이터 소스에서 상당한 성능 향상을 보입니다.
• 텍스트 인코더 없이도 엔티티 근접 엔티티 임베딩만으로도 뛰어난 성능을 달성함으로써, 관계 추론에서 구조적 그래프 신호의 중요성을 강조합니다.
• 제거 실험(ablation study) 결과, 근접 엔티티 집계와 어텐션 메커니즘이 핵심 구성 요소임을 확인하였으며, 어텐션 기반 집계가 단순 평균 또는 최대 풀링보다 우수한 성능을 보입니다.
• 엔티티별 전용 파rameter를 학습하지 않기 때문에 새로운 엔티티에 대해 효과적으로 일반화되며, 근접 관계에서 유도된 맥락 임베딩에 의존합니다.
• 모델은 확장 가능하고 도메인에 관계없이 적용 가능하며, 수동으로 조정할 필요가 없고 수작업 특징이 필요 없기 때문에, 종단 간 자율 학습을 통한 관계 신호 학습이 가능합니다.