[논문 리뷰] Weakly-supervised Knowledge Graph Alignment with Adversarial Learning

Meng Qu, Jian Tang외 1명|arXiv (Cornell University)|2019. 07. 06.

Advanced Graph Neural Networks참고 문헌 28인용 수 9

한 줄 요약

이 논문은 최소한의 또는 전혀 레이블이 부여되지 않은 삼중항을 가진 지식 그래프 간에 엔티티와 관계를 정렬하기 위해 적대적 학습과 상호정보 최대화를 사용하는 약한 지도 학습 기반 지식 그래프 정렬 방법을 제안한다. 진짜 삼중항과 생성된 삼중항을 구별하는 판별기 학습과 상호정보 정규화를 적용한 REINFORCE 알고리즘을 통해 모드 붕괴를 완화하고, 기준 데이터셋에서 비지도 및 약한 지도 학습 설정 모두에서 뛰어난 성능을 달성한다.

ABSTRACT

This paper studies aligning knowledge graphs from different sources or languages. Most existing methods train supervised methods for the alignment, which usually require a large number of aligned knowledge triplets. However, such a large number of aligned knowledge triplets may not be available or are expensive to obtain in many domains. Therefore, in this paper we propose to study aligning knowledge graphs in fully-unsupervised or weakly-supervised fashion, i.e., without or with only a few aligned triplets. We propose an unsupervised framework to align the entity and relation embddings of different knowledge graphs with an adversarial learning framework. Moreover, a regularization term which maximizes the mutual information between the embeddings of different knowledge graphs is used to mitigate the problem of mode collapse when learning the alignment functions. Such a framework can be further seamlessly integrated with existing supervised methods by utilizing a limited number of aligned triples as guidance. Experimental results on multiple datasets prove the effectiveness of our proposed approach in both the unsupervised and the weakly-supervised settings.

연구 동기 및 목표

• 대규모로 정렬된 삼중항이 확보되지 않거나 확보하는 데 비용이 많이 들 때 지식 그래프 정렬의 과제를 해결하기 위해.
• 효율적인 정렬을 위해 몇 개의 정렬된 삼중항만 필요한 비지도 또는 약한 지도 학습 프레임워크를 개발하기 위해.
• 적대적 학습에서의 모드 붕괴 문제를 줄이기 위해 소스 그래프 및 타겟 그래프 임베딩 간의 상호정보를 최대화하기 위해.
• 제한된 정렬된 삼중항을 지침으로 활용하여 기존의 지도 학습 방법과 원활하게 통합하기 위해.
• 낮은 차원의 임베딩과 학습 가능한 선형 정렬 함수만을 사용하여 효과적인 정렬을 가능하게 하기 위해.

제안 방법

• 엔티티와 관계를 사전에 학습된 지식 그래프 임베딩(예: TransE, TransH, DistMult)을 사용하여 표현하기 위해.
• 정렬 함수를 통해 진짜 타겟 그래프 삼중항과 생성된 삼중항을 구별하는 삼중항 판별기 학습하기 위해.
• 적대적 학습을 통해 판별기를 속이도록 정렬 함수(p_e 및 p_r)를 최적화하여 정렬 품질 향상시키기 위해.
• 소스 그래프 및 타겟 그래프 엔티티 매핑의 다양성을 장려함으로써 모드 붕괴를 방지하기 위해 상호정보 최대화 정규화 항 도입하기 위해.
• 판별기의 보상 신호를 기반으로 정책 그래เดียน트를 사용한 REINFORCE 알고리즘을 통해 정렬 함수 최적화하기 위해.
• 소량의 정렬된 삼중항을 보조 지도 신호로 통합함으로써 비지도 학습과 지도 학습 방법의 통합을 지원하기 위해.

실험 결과

연구 질문

• RQ1 대규모 레이블이 부여된 삼중항에 의존하지 않고도 적대적 학습이 지식 그래프 정렬에 효과적으로 작용할 수 있는가?
• RQ2 상호정보 최대화가 적대적 학습에서 정렬의 강건성 향상과 모드 붕괴 방지에 어떻게 기여하는가?
• RQ3 다양한 보상 함수와 가짜 삼중항 생성 전략이 정렬 성능에 미치는 영향은 무엇인가?
• RQ4 지식 그래프 임베딩 모델의 선택이 정렬 프레임워크 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 방법이 기존의 지도 학습 기반 정렬 방법과 얼마나 잘 통합되어 약한 지도 학습 성능을 향상시킬 수 있는가?

주요 결과

• 생성된 삼중항을 가짜 샘플로 사용하는 적대적 프레임워크('adv.')는 비지도 및 지도 학습 설정 모두에서 무작위 삼중항 기반 베이스라인('rand.' 및 'rand.+adv.')를 능가한다.
• TransE 임베딩은 다양한 데이터셋에서 TransH 및 DistMult를 일관되게 능가한다. 이는 선형 이동 성질이 사용된 선형 정렬 함수와 잘 맞기 때문일 것이다.
• 보상 함수 $\frac{x}{1-x}$ 와 $x$ 는 테스트된 옵션들 중에서 가장 뛰어난 성능을 보였으며, $\frac{x}{1-x}$ 는 WK15k fr2en에서 H@1이 36.00, H@10이 68.27을 기록했다.
• 상호정보 최대화를 적용함으로써 모드 붕괴가 크게 감소하여 더 다양한 정확한 엔티티 정렬이 보장된다.
• 비지도 설정에서도 뛰어난 성능을 기록하였으며, FB15k-2에서 H@1이 73.68, H@10이 88.91을 기록했다.
• 이 프레임워크는 지도 학습 방법과 매우 높은 호환성을 가지며, 최소한의 지도 신호로도 효과적인 약한 지도 학습 정렬을 가능하게 한다.