[논문 리뷰] DeepType: Multilingual Entity Linking by Neural Type System Evolution

Jonathan Raiman, Olivier Raiman|arXiv (Cornell University)|2018. 02. 03.

Topic Modeling인용 수 72

한 줄 요약

DeepType은 온톨로지로부터 신경 유형 시스템을 함께 설계하고 이를 신경 엔터티 연결 모델에 제약으로 사용하여, 새 엔티티에 대해 재학습 없이도 근사 인간 수준의 다의성 해소 정확도와 교차 언어 전이를 가능하게 한다.

ABSTRACT

The wealth of structured (e.g. Wikidata) and unstructured data about the world available today presents an incredible opportunity for tomorrow's Artificial Intelligence. So far, integration of these two different modalities is a difficult process, involving many decisions concerning how best to represent the information so that it will be captured or useful, and hand-labeling large amounts of data. DeepType overcomes this challenge by explicitly integrating symbolic information into the reasoning process of a neural network with a type system. First we construct a type system, and second, we use it to constrain the outputs of a neural network to respect the symbolic structure. We achieve this by reformulating the design problem into a mixed integer problem: create a type system and subsequently train a neural network with it. In this reformulation discrete variables select which parent-child relations from an ontology are types within the type system, while continuous variables control a classifier fit to the type system. The original problem cannot be solved exactly, so we propose a 2-step algorithm: 1) heuristic search or stochastic optimization over discrete variables that define a type system informed by an Oracle and a Learnability heuristic, 2) gradient descent to fit classifier parameters. We apply DeepType to the problem of Entity Linking on three standard datasets (i.e. WikiDisamb30, CoNLL (YAGO), TAC KBP 2010) and find that it outperforms all existing solutions by a wide margin, including approaches that rely on a human-designed type system or recent deep learning-based entity embeddings, while explicitly using symbolic information lets it integrate new entities without retraining.

연구 동기 및 목표

• EL에 대한 자동 설계된 유형 시스템을 통해 기호 지식을 신경 추론에 통합한다.
• 온톨로지에서 도출된 유형 축으로 출력을 제약하여 EL 다의성 해소의 복잡성을 줄이고 정확도를 향상시킨다.
• 학습 표현의 다국어 및 교차 언어 전이를 입증하고 NER 전이에 대한 영향을 평가한다.
• 표준 EL 데이터셋(WikiDisamb30, CoNLL-YAGO, TAC KBP 2010)에서 기계 설계 유형 시스템과 인간 설계 기준선을 비교한다.
• DeepType 사전 학습이 다운스트림 NER 작업에 도움이 되는지와 이중언어 학습이 다국어 성능에 이득이 되는지 평가한다.

제안 방법

• 유형 시스템 설계를 이산 변수는 온톨로지 도출형 유형 축을 선택하고 연속 변수는 유형 시스템에 분류기를 맞추는 혼합 정수 문제로 재정의한다.
• (i) Oracle와 학습 가능성 휴리스트를 사용한 유형 시스템의 이산 최적화, (ii) 유형 분류기와 엔터티 예측기를 학습시키기 위한 그래디언트 하강의 두 단계 최적화.
• Type Axis를 온톨로지 상의 뿌리-엣지 쌍으로 정의하고, 확률적 점수 공식에 의해 유형 멤버십을 준수하도록 엔터티 예측을 제약한다.
• Oracle의 다의성 파워, Learnability, 큰 유형 시스템 크기에 대한 페널티를 결합한 목적 함수 J(A)를 계산하여 축 선택을 안내한다.
• 다국어 텍스트에서 양방향 LSTM 기반 유형 분류기를 학습시켜 토큰에 대한 유형 레이블을 예측하고, 교차 언어 감독을 가능하게 한다.
• 추론 시 유형 기반 신념을 기본 엔터티 연결 점수와 결합하여 후보 엔터티를 순위화하고, 유형 확률의 부드러운 조합과 LinkCount 기준선을 사용한다.

실험 결과

연구 질문

• RQ1 자동으로 설계된 신경 유형 시스템이 인간이 설계한 유형 시스템을 넘어 엔터티 연결을 개선할 수 있는가?
• RQ2 기계가 발견한 유형 시스템이 EL을 위해 영어, 프랑스어, 독일어, 스페인어 등 서로 다른 언어에 걸쳐 일반화되는가?
• RQ3 상징적 유형 제약을 포함하면 다의성 복잡도가 O(N^2)에서 O(N)으로 줄고 새 엔티티를 재학습 없이 추가할 수 있는가?
• RQ4 DeepType의 유형 정보를 반영한 표현이 NER 및 기타 다운스트림 작업으로 전이될 수 있는가?
• RQ5 다른 탐색 방법들(Beam, Greedy, GA, CEM)이 효과적인 유형 시스템 발견에 어떻게 비교되는가?

주요 결과

• 다언어 설정에서 WikiDisamb30, CoNLL(YAGO), TAC KBP 2010에서 이전 EL 방법들을 능가한다.
• Oracle 기반 다의성 해소가 CoNLL(YAGO)에서 99.0%, TAC KBP 2010에서 98.6%에 도달하여 개선된 유형 예측과 함께 거의 해법에 근접한 가능성을 시사한다.
• 여러 탐색 방법에 걸쳐 WikiDisamb30, CoNLL(YAGO), TAC KBP 2010에서 기계 설계 유형 시스템이 인간 설계 시스템을 능가한다.
• 영어-프랑스어 이중 언어 학습으로 학습된 유형 시스템이 프랑스어, 독일어, 스페인어로 일반화되며 저하 없이 이중언어 학습이 이득이 될 수 있다.
• DeepType를 이용한 NER의 사전 학습은 F1을 향상시키고 OntoNotes 개발세트에서 최첨단 수준까지 달성하여 도메인 간 전이의 이점을 보여준다.
• 이 접근법은 EL 복잡도를 O(N)으로 줄이고 새 엔티티를 재학습 없이 통합할 수 있게 한다.