[논문 리뷰] Seq2RDF: An end-to-end application for deriving Triples from Natural Language Text

Yue Liu, Tongtao Zhang외 3명|arXiv (Cornell University)|2018. 07. 04.

Topic Modeling참고 문헌 5인용 수 15

한 줄 요약

이 논문은 주어진 지식 그래프 어휘에 부합하는 구조화된 RDF 삼중항으로 자연어 문장을 매핑하는 엔드 투 엔드 신경망 모델인 Seq2RDF를 제안한다. 어텐션과 사전 훈련된 지식 그래프 임베딩을 사용하는 인코더-디코더 아키텍처를 기반으로 하며, 파ipel라인 방법에서 발생하는 오류 전파를 피하기 위해 엔티티 링킹과 관계 분류를 동시에 학습함으로써 Wiki-DBpedia 데이터셋에서 최고 성능을 기록한 F1 점수 84.3을 달성한다.

ABSTRACT

We present an end-to-end approach that takes unstructured textual input and generates structured output compliant with a given vocabulary. Inspired by recent successes in neural machine translation, we treat the triples within a given knowledge graph as an independent graph language and propose an encoder-decoder framework with an attention mechanism that leverages knowledge graph embeddings. Our model learns the mapping from natural language text to triple representation in the form of subject-predicate-object using the selected knowledge graph vocabulary. Experiments on three different data sets show that we achieve competitive F1-Measures over the baselines using our simple yet effective approach. A demo video is included.

연구 동기 및 목표

• 주어진 지식 그래프 어휘에 부합하는 비정형 텍스트를 구조화된 RDF 삼중항으로 자동 변환하는 것.
• 엔티티 링킹과 관계 분류를 별도로 처리하는 파이프라인 기반 접근법에서 발생하는 오류 전파 문제를 제거하는 것.
• 텍스트에서 주어진-서술어-목적어 삼중항으로의 의미 분석을 학습하는 통합형 엔드 투 엔드 시퀀스 투 시퀀스 모델을 개발하는 것.
• 기존 단어 임베딩과 TransE 기반 지식 그래프 임베딩을 인코더와 디코더에 통합하여 성능을 향상시키는 것.
• 중간 단계의 특징 공학 또는 복잡한 아키텍처 수정 없이도 통합된 삼중항 생성의 가능성과 효과성을 입증하는 것.

제안 방법

• 모델은 입력 문장을 인코딩하고, 목표 삼중항을 주어진-서술어-목적어 형식으로 디코딩하기 위해 양방향 LSTM 네트워크를 사용하는 인코더-디코더 프레임워크를 사용한다.
• 디코더가 디코딩 중 입력 시퀀스의 관련 부분에 집중할 수 있도록 어텐션 메커니즘이 적용되어, 정렬과 맥락 인식 능력이 향상된다.
• 인코더의 임베딩 매트릭스는 사전 훈련된 단어 임베딩으로, 디코더의 임베딩 매트릭스는 TransE 기반 지식 그래프 임베딩으로 초기화되어 의미 표현 능력이 향상된다.
• 시퀀스 손실 함수를 사용하여 입력 텍스트가 주어졌을 때 삼중항 시퀀스의 조건부 확률을 최대화하며, 가중치가 부여된 교차 엔트로피를 적용한다.
• 디코더는 삼중항 토큰을 하나씩 생성하며, 주어, 서술어, 목적어에 대해 별도의 어텐션 헤드를 사용하여 출력 구조 내의 종속성과 제약 조건을 모델링한다.
• F1 점수 최적화를 위해 훈련 세트에서 10겹 교차 검증을 통해 하이퍼파라미터를 튜닝한다.

실험 결과

연구 질문

• RQ1 엔티티 링킹과 관계 분류 컴포onent을 별도로 포함하지 않고도 엔드 투 엔드 시퀀스 투 시퀀스 모델이 자연어에서 RDF 삼중항을 효과적으로 생성할 수 있는가?
• RQ2 기존 임베딩과 비교해 사전 훈련된 지식 그래프 임베딩을 통합할 경우 삼중항 생성 성능가 어떻게 향상되는가?
• RQ3 어텐션 메커니즘이 텍스트 스트링이 삼중항의 주어, 서술어, 목적어 역할과 어떻게 정렬되는지를 향상시키는가?
• RQ4 엔티티 링킹과 관계 분류 시스템의 최고 수준 조합을 사용하는 파이프라인 기반 베이스라인과 비교해 본다면, 제안된 모델의 성능은 어떠한가?
• RQ5 모델의 주요 실패 유형은 무엇이며, OOV(Out-of-Vocabulary) 엔티티와 겹치는 관계는 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 Seq2RDF 모델은 Wiki-DBpedia 데이터셋에서 F1 측정치 84.3을 기록하여 파이프라인 기반 베이스라인을 크게 앞서간다.
• 가장 우수한 성능을 보인 설정(S+A+W+G)은 어텐션, 단어 임베딩, 지식 그래프 임베딩을 모두 통합하여 Wiki-DBpedia에서 F1 점수 84.3을 달성했으며, GRU 기반 파이프라인 베이스라인의 67.0과 비교해 뚜렷한 성능 향상을 보였다.
• 파이프라인 방법이 순차적으로 처리하는 것과 달리, 하나의 디코딩 프로세스 내에서 엔티티와 관계 예측을 동시에 학습함으로써 오류 전파를 줄였다.
• 디코더에서 엔티티와 관계에 대해 사전 훈련된 TransE 임베딩을 사용함으로써 모든 데이터셋에서 성능 향상이 이루어졌으며, 지식 그래프의 의미적 정보를 통합하는 것이 유의미한 가치를 지닌다는 것을 입증했다.
• 공통적인 오류 원인은 OOV 엔티티와 텍스트 내에서 모호하거나 겹치는 관계로, 희귀어나 다의어 표현을 다루는 데 한계가 있음을 시사한다.
• NYT, ADE, Wiki-DBpedia 등 세 가지 서로 다른 데이터셋에서 경쟁적인 성능을 기록하여, 다양한 도메인과 텍스트 유형에 일반화 가능함을 입증했다.