[논문 리뷰] Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web

Kalpa Gunaratna, Yu Wang외 1명|arXiv (Cornell University)|2021. 03. 29.

Topic Modeling참고 문헌 39인용 수 5

한 줄 요약

이 논문은 지식 그래프가 없는 상태에서 위키백과 및 제품 카탈로그와 같은 준구조적 텍스트 자료에서 직접 고품질 엔티티 임베딩을 학습할 수 있는 Entity Context Graph (ECG)를 제안한다. 자연어로 기술된 관계로 연결된 엔티티 쌍(즉, 컨텍스트 트리플)을 추출함으로써, 기존 지식 그래프나 컨텍스트 언어 모델 기반 방법에 비해 단순하고 자동화되며 확장 가능한 임베딩 학습이 가능하며, 특히 지식 그래프 데이터와 함께 공동으로 미세조정할 경우 그 성능을 뛰어넘는다.

ABSTRACT

Knowledge is captured in the form of entities and their relationships and stored in knowledge graphs. Knowledge graphs enhance the capabilities of applications in many different areas including Web search, recommendation, and natural language understanding. This is mainly because, entities enable machines to understand things that go beyond simple tokens. Many modern algorithms use learned entity embeddings from these structured representations. However, building a knowledge graph takes time and effort, hence very costly and nontrivial. On the other hand, many Web sources describe entities in some structured format and therefore, finding ways to get them into useful entity knowledge is advantageous. We propose an approach that processes entity centric textual knowledge sources to learn entity embeddings and in turn avoids the need for a traditional knowledge graph. We first extract triples into the new representation format that does not use traditional complex triple extraction methods defined by pre-determined relationship labels. Then we learn entity embeddings through this new type of triples. We show that the embeddings learned from our approach are: (i) high quality and comparable to a known knowledge graph-based embeddings and can be used to improve them further, (ii) better than a contextual language model-based entity embeddings, and (iii) easy to compute and versatile in domain-specific applications where a knowledge graph is not readily available

연구 동기 및 목표

• 기존에 고비용 지식 그래프가 필요 없는 확장 가능한 자동화된 엔티티 임베딩 학습 방법을 개발하기 위해.
• 기존 지식 그래프의 삼중항 추출 방식이 가지는 제약, 즉 엄격한 스키마, 사전 정의된 관계, 수동 코딩에 기인한 문제점을 해결하기 위해.
• 엔티티를 연결하는 자연어 기반 기술(예: '태어난 곳')을 포함한 컨텍스트 트리플이 표현 학습을 위한 탄력적이고 실용적인 대안이 될 수 있음을 보여주기 위해.
• ECG 기반 임베딩이 최신 지식 그래프 기반 및 컨텍스트 언어 모델 기반 임베딩과 경쟁 가능함을 보여주기 위해.
• 구조화된 지식 그래프가 존재하지 않거나 실용적이지 않은 도메인 특화 및 애플리케이션 맞춤형 엔티티 표현 학습을 가능하게 하기 위해.

제안 방법

• 위키백과의 정보 상자, 제품 페이지 등 준구조적 자료에서 엔티티 쌍과 자연어 관계 기술을 추출하여 컨텍스트 트리플을 구성하기 위해.
• 고정된 레이블이 아닌 원시 텍스트 문장(예: '태어난 곳')으로 관계를 표현함으로써 관계적 컨텍스트를 동적으로 인코딩할 수 있도록 하기 위해.
• 노드가 엔티티이고, 엣지는 기술적 레이블이 부여된 컨텍스트 트리플인 이질적 그래프로 Entity Context Graph (ECG)를 구축하기 위해.
• ECG에서 그래프 신경망 또는 유사한 표현 학습 프레임워크를 사용하여 엔티티 임베딩을 학습하고, 텍스트 기반 관계를 처리하기 위해 동적 관계 인코더를 도입하기 위해.
• 기존 지식 그래프 삼중항과 ECG 임베딩을 함께 미세조정하여 데이터 소스 간 정렬이 필요 없이도 전체 임베딩 품질을 향상시키기 위해.
• 도메인에 관계없이 ECG를 구축할 수 있도록 DBpedia Spotlight 등의 일반 목적 도구를 사용해 엔티티 연결 및 요소 추출을 수행하기 위해.

실험 결과

연구 질문

• RQ1 준구조적 텍스트 자료에서 컨텍스트 트리플을 통해 학습한 엔티티 임베딩이 공식 지식 그래프에서 학습한 것과 동등한 품질을 가지는가?
• RQ2 ECG 기반 임베딩 학습 방식이 최신 컨텍스트 언어 모델(예: ERNIE)보다 엔티티 표현 학습에서 어떻게 성능이 뛰어나게 되는가?
• RQ3 다중 소스 학습 환경에서 ECG와 기존 지식 그래프 기반 임베딩을 함께 사용할 경우, 지식 그래프 기반 임베딩의 품질이 향상되는가?
• RQ4 위키백과 및 제품 리뷰와 같은 다양한 실제 데이터 소스에 대해 ECG 구축 파이프라인의 탄력성과 확장성은 어느 정도인가?
• RQ5 구조화된 지식 그래프가 존재하지 않는 도메인 특화 응용 분야에서 ECG는 어느 정도 활용 가능한가?

주요 결과

• ECG 기반 엔티티 임베딩은 표준 벤치마크에서 최신 지식 그래프 기반 표현 학습 방법과 동등한 성능을 달성한다.
• 동일한 위키백과 코퍼스에서 학습한 컨텍스트 언어 모델 기반 방법(ERNIE)보다 성능이 뛰어나며, 그래프 기반 컨텍스트의 우수성을 입증한다.
• FB15k에서 Hits@10 점수는 70%, 아마존 리뷰에서는 67%를 기록하여 상위 k개 예측 성능이 뛰어나다는 것을 보여준다.
• ECG와 지식 그래프 기반 임베딩을 함께 학습시킴으로써 지식 그래프 기반 임베딩의 품질이 향상되며, 두 소스 간 상호 보완적 이점이 있음을 보여준다.
• ECG 프레임워크는 뉴스 기사 및 제품 카탈로그와 같은 다양한 준구조적 자료에 대해 최소한의 커스터마이제이션으로 적용 가능하여 매우 유연하다.
• 이 방법은 계산적으로 효율적이며 완전히 자동화되어 있어 기존 지식 그래프 구축에서 흔히 복잡하고 고비용이 되는 삼중항 추출 파이프라인을 피할 수 있다.