[논문 리뷰] Attribute-Consistent Knowledge Graph Representation Learning for Multi-Modal Entity Alignment

Qian Li, Shu Guo외 5명|arXiv (Cornell University)|2023. 04. 04.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 다중 모odal 엔티티 정렬(MMEA)을 위한 새로운 프레임워크 ACK-MMEA를 제안하며, 일관된 속성 수와 누락된 모odalities로 인한 맥락적 갭을 해소하기 위해 다중 모달 속성 통일화를 통해 속성 일관성 있는 지식 그래프(ACKG)를 구축한다. 각 엔티티당 모달리티당 정규화된 하나의 속성 표준화를 위해 머지 및 생성 연산자를 활용하고, 무작위로 노드를 제거하는 관계 인식 그래프 신경망을 사용함으로써 강력하고 일관된 표현을 얻는다. 이는 기준 데이터셋에서 베이스라인보다 뛰어난 성능을 보이며, 고장 내성과 정렬 정확도 향상으로 이어진다.

ABSTRACT

The multi-modal entity alignment (MMEA) aims to find all equivalent entity pairs between multi-modal knowledge graphs (MMKGs). Rich attributes and neighboring entities are valuable for the alignment task, but existing works ignore contextual gap problems that the aligned entities have different numbers of attributes on specific modality when learning entity representations. In this paper, we propose a novel attribute-consistent knowledge graph representation learning framework for MMEA (ACK-MMEA) to compensate the contextual gaps through incorporating consistent alignment knowledge. Attribute-consistent KGs (ACKGs) are first constructed via multi-modal attribute uniformization with merge and generate operators so that each entity has one and only one uniform feature in each modality. The ACKGs are then fed into a relation-aware graph neural network with random dropouts, to obtain aggregated relation representations and robust entity representations. In order to evaluate the ACK-MMEA facilitated for entity alignment, we specially design a joint alignment loss for both entity and attribute evaluation. Extensive experiments conducted on two benchmark datasets show that our approach achieves excellent performance compared to its competitors.

연구 동기 및 목표

• 동일한 엔티티 간에 속성 수의 불일치 또는 모달리티 누락으로 인한 맥락적 갭을 해결하기 위해 다중 모달 엔티티 정렬(MMEA)에서 발생하는 문제를 해결한다.
• 다중 모달 지식 그래프(MMKG) 간에 일관된 속성 표현을 보장하여 정렬 성능을 향상시키는 방법을 개발한다.
• 속성 통일화와 드롭아웃 정규화를 통해 속성의 중복성과 부재에 강건한 표현 학습 프레임워크를 설계한다.
• 엔티티 및 속성 수준의 감독을 통합하는 공동 정렬 손실을 통해 속성 일관성이 엔티티 정렬 향상에 기여하는지 평가한다.

제안 방법

• 각 엔티티당 모달리티당 정확히 하나의 표준화된 속성으로 구성된 속성 일관성 있는 지식 그래프(ACKG)를 생성하기 위해 머지 및 생성 연산자를 사용한 다중 모달 속성 통일화를 제안한다.
• 다수의 속성을 하나의 대표 특징으로 압축하여 잡음이나 중복 속성을 걸러내는 어텐션 기반 머지 연산자를 적용한다.
• 이미지나 텍스트와 같은 속성이 누락된 경우에 이를 생성하는 연산자를 활용하여 엔티티 간의 통일성을 확보한다.
• 무작위 이웃 제거 기능을 갖춘 관계 인식 그래프 신경망(ConsistGNN)을 사용하여 강력한 엔티티 표현과 집계된 관계 특징을 학습한다.
• 엔티티 정렬과 속성 일관성을 동시에 최적화하는 공동 정렬 손실을 도입하여 전체 표현 품질을 향상시킨다.
• 비등가 엔티티에 대해 서로 다른 표현을 유도함으로써 정렬 정밀도를 향상시키기 위해 이웃 비유사성 손실을 활용한다.

실험 결과

연구 질문

• RQ1 동일한 엔티티가 다양한 수의 속성을 가질 경우 또는 모달리티가 누락된 경우, 다중 모달 엔티티 정렬에서 맥락적 갭을 어떻게 완화할 수 있는가?
• RQ2 속성 통일화가 다중 모달 엔티티 정렬의 강건성과 정확도에 얼마나 기여하는가?
• RQ3 무작위 드롭아웃을 적용한 관계 인식 그래프 신경망이 MMEA에서 엔티티 표현 학습의 고장 내성과 일반화 능력을 향상시키는가?
• RQ4 공동 정렬 손실이 엔티티 수준과 속성 수준의 감독을 통합하여 정렬 성능 향상에 얼마나 효과적인가?
• RQ5 속성 삭제 또는 모달리티가 불완전한 조건에서 속성 일관성은 모델 성능에 어떤 영향을 미치는가?

주요 결과

• ACK-MMEA는 두 개의 기준 데이터셋에서 최신 기술 수준의 성능을 달성하여 MRR, Hits@1, Hits@10에서 기존 방법들을 능가한다.
• 모든 속성이 삭제된 경우에도 성능이 유지되며(MRR 1–5% 감소), 드롭아웃과 비유사성 정규화 덕분에 뛰어난 고장 내성을 보여준다.
• 이미지 속성이 제거된 경우에도 ACK-MMEA는 베이스라인을 능가하며, 이는 속성 일관성 표현이 모달리티 불균형을 줄이는 데 효과적이라는 것을 확인한다.
• 속성 갭이 증가할수록 성능 저하 속도가 느리게 나타나, 속성 수의 차이로 인한 맥락적 갭에 대한 강건성을 보여준다.
• 이웃 드롭아웃 비율 35%에서 최적의 성능을 달성하여, 무작위 드롭아웃이 강건성 향상에 효과적임을 확인한다.
• 제거 분석 결과, 텍스트 및 이미지 속성이 모두 필수적이며, 모델이 베이스라인보다 속성 삭제에 덜 민감함을 확인하여 일관성 학습 메커니즘의 타당성을 검증한다.