[논문 리뷰] Named Entity Disambiguation using Deep Learning on Graphs

Alberto Cetoli, Mohammad Akbari외 3명|arXiv (Cornell University)|2018. 10. 22.

Topic Modeling참고 문헌 27인용 수 9

한 줄 요약

이 논문은 웹사이트 기반의 지식 기반을 활용하여 명시적 실체 정규화(Named Entity Disambiguation, NED)를 위한 딥러닝 접근법을 제안한다. 그래프 삼중항의 Bi-LSTM 인코딩을 통해 맥락 벡터를 생성하고, 새로 제작된 Wikidata-Disamb 데이터셋에서 F1 스코어 91.6%를 달성하며, 기존 기준 모델보다 7.1% 높은 성능을 보였다. 삼중항에 대한 Bi-LSTM가 가장 효과적이며, 그래프의 구조적 특성은 보조적인 역할을 한다.

ABSTRACT

We tackle \ac{NED} by comparing entities in short sentences with \wikidata{} graphs. Creating a context vector from graphs through deep learning is a challenging problem that has never been applied to \ac{NED}. Our main contribution is to present an experimental study of recent neural techniques, as well as a discussion about which graph features are most important for the disambiguation task. In addition, a new dataset (\wikidatadisamb{}) is created to allow a clean and scalable evaluation of \ac{NED} with \wikidata{} entries, and to be used as a reference in future research. In the end our results show that a \ac{Bi-LSTM} encoding of the graph triplets performs best, improving upon the baseline models and scoring an m{F1} value of $91.6\%$ on the \wikidatadisamb{} test set

연구 동기 및 목표

• Wikidata 그래프에서 맥락 벡터를 생성하기 위한 딥러닝 기법을 평가하여 NED 정확도를 향상시키는 것.
• 노드 콘텐츠, 간선 유형, 또는 구조적 구조 등 그래프 특징 중에서 정규화에 가장 유용한 특징을 규명하는 것.
• 위키데이터 기반 참조를 대체하기 위해 위키데이터 항목을 활용해 새로운 확장 가능한 벤치마크 데이터셋(Wikidata-Disamb)을 제작하는 것.
• Bi-LSTM, GCN, GRU와 같은 신경망 아키텍처가 실체 정규화를 위한 그래프 정보를 어떻게 인코딩하는지 비교하는 것.
• 삼중항 기반 표현 방식과 전체 그래프 구조 중 어느 것이 단문장 NED에서 더 높은 성능을 낼 수 있는지 규명하는 것.

제안 방법

• 위키데이터 항목에서 그래프를 구성하며, 노드는 실체를, 간선은 관계를 나타내며, GloVe 단어 벡터를 사용해 노드 및 간선 레이블을 임bedding한다.
• 그래프에서 삼중항(주어-술어-목적어)을 추출하고, 관계적 구조의 순차적 의존성을 모델링하기 위해 Bi-LSTM를 사용해 인코딩한다.
• 노드 및 간선 임베딩은 해당 텍스트 레이블의 GloVe 벡터 평균을 통해 형성되며, 이는 심볼릭 지식의 신경망 처리를 가능하게 한다.
• 전방향 신경망과 평균 풀링을 사용한 피드포워드 네트워크를 베이스라인으로 설정하여 RNN 기반 모델과 성능을 비교한다.
• 그래프 컨볼루션 네트워크(GCN)를 적용해 구조적 인코딩을 탐색하지만, 대부분의 그래프가 나무 구조를 띠므로 성능 향상에 한계가 있다.
• 맥락 벡터 생성 과정에서 중요한 삼중항을 가중치 부여하기 위해 RNN 모델에 어텐션 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 NED 맥락에서 위키데이터 그래프를 인코딩하는 데 있어 Bi-LSTM, GCN, GRU 중 어떤 딥러닝 아키텍처가 가장 우수한 성능을 낼 수 있는가?
• RQ2 전체 그래프 구조를 사용하는 것과 삼중항 기반 순서를 사용하는 것 중 어느 것이 더 높은 정규화 성능를 제공하는가?
• RQ3 노드 콘텐츠에 비해 간선 유형(관계 레이블)은 실체를 구분하는 데 얼마나 중요한가?
• RQ4 그래프가 대부분 나무 구조를 띠는 경우, 그래프의 구조적 특성이 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ5 위키데이터 그래프를 기반으로 훈련된 신경망 모델이 단문장 정규화에서 기존 전통적 방법을 능가할 수 있는가?

주요 결과

• 삼중항에 Bi-LSTM를 적용한 모델이 Wikidata-Disamb 테스트 세트에서 F1 스코어 91.6%를 기록하며 가장 높은 성능을 보였다.
• 노드 임베딩과 평균 풀링만을 사용한 베이스라인 모델은 F1 스코어 84.5%를 기록했으며, 삼중항에 대한 Bi-LSTM 적용으로 7.1% 향상된 성능을 보였다.
• 그래프 컨볼루션 네트워크(GCN)는 대부분의 그래프가 나무 형태를 띠므로 성능이 열악한 편이었으며, 이는 구조적 신호의 제한성 때문으로 보인다.
• 삼중항 표현에 간선 유형 정보를 포함시킬 경우 성능 향상이 뚜렷하게 나타나, 관계 맥락이 매우 중요함을 시사한다.
• 그래프의 구조적 특성은 정규화 과정에서 보조적인 역할을 하며, 대부분의 그래프가 단순한 나무 구조를 띠므로 GCN 기반 방법의 이점이 줄어든다.
• 제안된 Wikidata-Disamb 데이터셋은 향후 위키데이터 기반 NED 연구를 위한 청소년적이고 확장 가능한 벤치마크를 제공한다.