[논문 리뷰] Truveta Mapper: A Zero-shot Ontology Alignment Framework

M. Amir, Murchana Baruah외 5명|arXiv (Cornell University)|2023. 01. 24.

Semantic Web and Ontologies인용 수 4

한 줄 요약

Truveta Mapper는 원천 온톨로지 노드를 대상 온톨로지 경로로 매핑하는 번역 작업으로 간주하는 제로샷, 다중 작업 시퀀스-투-시퀀스 트랜스포머 프레임워크를 제안한다. 이는 레이블이 없는 데이터나 후처리 없이도 SOTA 기법들인 BERTMap 및 LogMap을 초월하는 최신 성능을 달성하며, 로그-선형 추론 복잡도를 갖는다.

ABSTRACT

In this paper, a new perspective is suggested for unsupervised Ontology Matching (OM) or Ontology Alignment (OA) by treating it as a translation task. Ontologies are represented as graphs, and the translation is performed from a node in the source ontology graph to a path in the target ontology graph. The proposed framework, Truveta Mapper (TM), leverages a multi-task sequence-to-sequence transformer model to perform alignment across multiple ontologies in a zero-shot, unified and end-to-end manner. Multi-tasking enables the model to implicitly learn the relationship between different ontologies via transfer-learning without requiring any explicit cross-ontology manually labeled data. This also enables the formulated framework to outperform existing solutions for both runtime latency and alignment quality. The model is pre-trained and fine-tuned only on publicly available text corpus and inner-ontologies data. The proposed solution outperforms state-of-the-art approaches, Edit-Similarity, LogMap, AML, BERTMap, and the recently presented new OM frameworks in Ontology Alignment Evaluation Initiative (OAEI22), offers log-linear complexity, and overall makes the OM task efficient and more straightforward without much post-processing involving mapping extension or mapping repair. We are open sourcing our solution.

연구 동기 및 목표

• 원천 온톨로지 노드에서 대상 온톨로지 경로로의 번역 작업으로 간주함으로써 비지도 온톨로지 매칭 문제를 해결한다.
• 수동으로 레이블이 부여된 교차 온톨로지 매핑에 대한 의존도를 줄이고 제로샷 학습 및 예측을 가능하게 한다.
• 통합된 종단간 프레임워크를 통해 다수의 온톨로지 간 전이 학습을 활용하여 효율성과 정확도를 향상시킨다.
• 어휘적 및 비맥락적 방법의 한계를 극복하기 위해 텍스트 의미와 온톨로지 그래프 구조를 동시에 모델링한다.
• 매핑 확장 또는 수리와 같은 후처리 단계가 필요 없도록 하여 생산 환경 구축을 단순화한다.

제안 방법

• 온톨로지를 그래프로 표현하고 원천 클래스를 대상 온톨로지의 계층적 경로로 번역하는 시퀀스-투-시퀀스 번역 작업으로 온톨로지 매칭을 정의한다.
• 마스크된 언어 모델링(Masked Language Modeling, MLM)을 사용해 공개 텍스트 코퍼스 및 내부 온톨로지 데이터에서 사전학습된 다중 작업 시퀀스-투-시퀀스 트랜스포머 모델을 활용해 의미적 표현과 구조적 표현을 학습한다.
• 클래스 레이블과 동의어를 입력으로 사용하고 계층적 ID를 출력으로 삼아 온톨로지 구조와 의미적 동치성을 포착하도록 모델을 피니어튜닝한다.
• 다양한 토크나이제이션 체계에 걸쳐 강건성을 향상시키고 일반화 능력을 향상시키기 위해 바이트 수준의 토크나이제이션을 적용한다.
• 그래프 탐색과 임베딩 기반 의미 유사도를 융합한 하이브리드 예측 전략을 사용해 탐욕적 디코딩 대비 강건성을 향상시킨다.
• 전체 대상 온톨로지에 걸쳐 유사도 계산을 수행하지 않음으로써 BERTMap 및 유사 모델들과 달리 이차 복잡도를 피하고 로그-선형 추론 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 온톨로지 매칭을 온톨로지 그래프 간 제로샷 번역 작업으로 효과적으로 재정의할 수 있는가?
• RQ2 수동으로 정렬된 데이터가 없는 다수의 온톨로지 간 의미적 의미와 구조적 계층을 동시에 학습할 수 있는 통합된 다중 작업 트랜스포머 모델은 가능한가?
• RQ3 텍스트적 특징과 구조적 특징을 함께 사전학습하면, 어휘적 또는 의미적 유사성에만 집중하는 모델 대비 더 뛰어난 정렬 성능을 달성할 수 있는가?
• RQ4 유사도 기반 방법의 이차 비용을 피하면서도 로그-선형 추론 복잡도를 확보하고 SOTA 성능을 달성할 수 있는가?
• RQ5 특정 작업에 맞춰 피니어튜닝 없이도 다양한 온톨로지 쌍(예: SNOMED에서 FMA, SNOMED에서 NCIT) 간에 얼마나 잘 일반화되는가?

주요 결과

• Truveta Mapper(TM)는 SNOMED(Body)에서 FMA로의 작업에서 F-스코어 0.950을 기록하며, 두 번째로 우수한 성능을 낸 AML보다 2.3%포인트 높다.
• SNOMED(Pharm)에서 NCIT로의 작업에서는 TM이 F-스코어 0.802를 기록하며 AMD 및 BERTMap-Lite보다 11.0%포인트 향상되었다.
• SNOMED(Neoplas)에서 NCIT로의 작업에서는 TM이 F-스코어 0.792를 기록하며 BERTMap-Lite 및 Edit-Similarity보다 4.3%포인트 향상되었다.
• Body 작업에서 TM은 평균 역수 순위(MRR) 0.987을 기록하며, BERTMap(0.919) 및 LogMap(0.820)를 포함한 모든 베이스라인을 압도했다.
• Body 작업에서 Hit@1 스코어는 0.982에 도달하여 상위 1개 예측의 정밀도가 매우 높았으며, Edit-Similarity(0.760) 및 LogMap(0.695)를 크게 뛰어넘었다.
• 모델은 전체 대상 온톨로지에 대한 유사도 계산을 피하는 방식으로 추론 복잡도를 이차에서 로그-선형으로 감소시켜 확장 가능한 배포를 가능하게 했다.