[논문 리뷰] Unsupervised Hierarchy Matching with Optimal Transport over Hyperbolic Spaces

David Alvarez-Melis, Youssef Mroueh외 1명|arXiv (Cornell University)|2019. 11. 06.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 초구형 공간에서 최적 운반을 활용하여 계층적 데이터—예를 들어 WordNet과 온톨로지—간의 매칭을 위한 새로운 비지도 방법을 제안한다. 유클리드 정렬 방법이 초구형 임bedding에 적용될 때 지방형 순열 불변성으로 인해 실패하는 문제를 다루며, 지방형 신경망 기반의 레지스트레이션 프레임워크를 도입하여 다국어 WordNet 및 온톨로지 매칭 작업에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

This paper focuses on the problem of unsupervised alignment of hierarchical data such as ontologies or lexical databases. This is a problem that appears across areas, from natural language processing to bioinformatics, and is typically solved by appeal to outside knowledge bases and label-textual similarity. In contrast, we approach the problem from a purely geometric perspective: given only a vector-space representation of the items in the two hierarchies, we seek to infer correspondences across them. Our work derives from and interweaves hyperbolic-space representations for hierarchical data, on one hand, and unsupervised word-alignment methods, on the other. We first provide a set of negative results showing how and why Euclidean methods fail in this hyperbolic setting. We then propose a novel approach based on optimal transport over hyperbolic spaces, and show that it outperforms standard embedding alignment techniques in various experiments on cross-lingual WordNet alignment and ontology matching tasks.

연구 동기 및 목표

• 외부 지식이나 텍스트 유사도에 의존하지 않고도 온톨로지 및 어휘 데이터베이스와 같은 계층적 데이터의 비지도 정렬 문제를 해결한다.
• 특히 지방형 순열 불변성으로 인해 발생하는 문제로 인해 기존의 유클리드 기반 비지도 임베딩 정렬 방법이 초구형 임베딩에 적용될 때 실패하는 이유를 규명하고 분석한다.
• 초구형 공간의 내재적 기하학적 구조를 활용하여 강력하고 완전히 비지도로 계층적 데이터셋을 정렬할 수 있는 기하학적 프레임워크를 개발한다.
• 다국어 WordNet 정렬 및 생물학적 온톨로지 매칭과 같은 실제 작업에서 제안된 방법의 효과성을 입증한다. 이는 최소한의 가정 하에 이루어진다.

제안 방법

• Poincaré 구의 모델을 기반으로 한 최적 운반을 통해 초구형 다양체 간의 대응 관계로 계층 매칭 문제를 수식화한다.
• 지방형 신경망을 통한 비선형 레지스트레이션 함수를 도입하여 두 개의 초구형 임베딩 기하학적 구조를 정렬함으로써 지방형 순열 불변성을 해결한다.
• 초구형 최적 운반 비용을 최소화함으로써 레지스트레이션 네트워크를 학습시키며, 이는 기울기 신호와 함께 실시간으로 점 간의 소프트 매칭을 제공한다.
• Poincaré 거리 척도를 사용하여 임베딩의 계층적 구조를 유지함으로써 기하학적 거리가 의미적 또는 분류학적 관계를 반영하도록 보장한다.
• 확률 측도를 한 초구형 공간에서 다른 초구형 공간으로 옮기는 푸시-포워드 연산을 적용하여 분포 수준의 정렬을 가능하게 한다.
• 대칭 초기화를 통한 사전 훈련과 최적 운반을 통한 미세조정을 통해 레지스트레이션 네트워크의 정렬 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 유클리드 비지도 임베딩 정렬 방법이 계층적 데이터의 초구형 임베딩에 적용될 때 실패하는 이유는 무엇인가?
• RQ2 이러한 실패를 초래하는 특정 기하학적 불변성인 지방형 순열은 무엇이며, 이는 유클리드 공간의 불변성과 어떻게 다를까?
• RQ3 초구형 공간에서 최적 운반을 효과적으로 활용하여 외부 감독 없이 계층적 임베딩을 정렬할 수 있는가?
• RQ4 지방형 신경망 기반의 학습 가능한 비선형 레지스트레이션 함수는 선형 또는 강체 변환에 비해 정렬 강건성을 얼마나 향상시키는가?
• RQ5 제안된 방법은 다국어 WordNet 및 생물학적 온톨로지와 같은 다양한 계층적 데이터셋에 얼마나 일반화되는가?

주요 결과

• Muse, Self-Learn, InvarOt와 같은 표준 유클리드 정렬 방법은 기하학적 적응 후에도 지방형 임베딩에 대해 지방형 순열 불변성으로 인해 성능이 열등하다.
• 절단 실험을 통해 올바른 Poincaré 거리 척도와 사전 훈련이 핵심 요소임을 확인하였으며, 이 중 하나를 생략할 경우 성능이 크게 저하된다.
• 다국어 WordNet 정렬 작업에서 제안된 Hyperbolic-OT 모델은 H→M에서 Precision@10이 7.89, S→E에서 9.66를 기록하여 모든 기준선을 능가한다.
• OAEI 2018 온톨로지 매칭 작업에서 Hyperbolic-OT는 F→P에서 Precision@10이 16.67%로 기록되었으며, P→F에서는 8.73%를 기록하여 다음으로 좋은 기준선인 4.00%를 크게 초월한다.
• 노이즈에 민감하며 도메인 이동 상황에서는 성능 저하가 발생하지만, 고차원 임베딩에서는 더 강건한 성능을 유지한다.
• 프레임워크는 Poincaré 구를 초월하여 다른 최적화가 가능한 리만 다양체에도 일반화 가능함을 시사한다.