[논문 리뷰] Does William Shakespeare REALLY Write Hamlet? Knowledge Representation Learning with Confidence

Ruobing Xie, Zhiyuan Liu외 2명|arXiv (Cornell University)|2017. 05. 09.

Advanced Graph Neural Networks참고 문헌 22인용 수 23

한 줄 요약

이 논문은 지식 그래프 내의 노이즈를 내부 구조적 정보만을 사용하여 삼중항 신뢰도를 학습함으로써 노이즈를 탐지하는 신뢰도 인식 지식 표현 학습 프레임워크(CKRL)를 제안한다. 번역 기반 모델에 국소적 및 전역적 구조적 신호를 통합함으로써 CKRL은 노이즈 탐지, 지식 그래프 보완, 삼중항 분류에서 성능을 향상시키며, 다양한 노이즈 수준에서 일관된 성능 향상을 보인다.

ABSTRACT

Knowledge graphs (KGs), which could provide essential relational information between entities, have been widely utilized in various knowledge-driven applications. Since the overall human knowledge is innumerable that still grows explosively and changes frequently, knowledge construction and update inevitably involve automatic mechanisms with less human supervision, which usually bring in plenty of noises and conflicts to KGs. However, most conventional knowledge representation learning methods assume that all triple facts in existing KGs share the same significance without any noises. To address this problem, we propose a novel confidence-aware knowledge representation learning framework (CKRL), which detects possible noises in KGs while learning knowledge representations with confidence simultaneously. Specifically, we introduce the triple confidence to conventional translation-based methods for knowledge representation learning. To make triple confidence more flexible and universal, we only utilize the internal structural information in KGs, and propose three kinds of triple confidences considering both local and global structural information. In experiments, We evaluate our models on knowledge graph noise detection, knowledge graph completion and triple classification. Experimental results demonstrate that our confidence-aware models achieve significant and consistent improvements on all tasks, which confirms the capability of CKRL modeling confidence with structural information in both KG noise detection and knowledge representation learning.

연구 동기 및 목표

• 기존 지식 표현 학습(KRL) 방법이 모든 훈련 삼중항이 노이즈가 없음을 전제로 한다는 한계를 해결하기 위해.
• 표현 학습 과정에서 지식 그래프(KG)의 노이즈 또는 모순되는 사실을 탐지하고 완화하기 위해.
• 외부 지도 없이 내부 구조적 정보만을 사용하여 삼중항의 신뢰도를 추정하는 신뢰도 인식 KRL 프레임워크를 개발하기 위해.
• 노이즈가 있는 훈련 데이터 하에서 지식 기반 작업, 예를 들어 지식 그래프 보완 및 삼중항 분류의 강건성을 향상시키기 위해.
• 실제 지식 구축 파이프라인에서 신뢰도 인식 학습의 실용적 적용을 가능하게 하기 위해.

제안 방법

• 번역 기반 KRL 모델에서 삼중항의 동적 가중치로 삼중항 신뢰도를 도입하며, 각 삼중항은 구조적 특성에 기반한 신뢰도 점수를 부여받는다.
• 삼중항 신뢰도의 세 가지 유형을 정의한다: 즉시 주변 구조에 기반한 국소적 신뢰도, 엔티티 간 전역 경로에 기반한 경로 기반 신뢰도, 국소적 및 경로 정보를 모두 사용한 통합 신뢰도.
• 예를 들어 TransE와 같은 번역 기반 모델 프레임워크를 사용하지만, 삼중항의 신뢰도 점수에 따라 손실 함수를 수정하여 각 삼중항에 가중치를 적용한다.
• 외부 데이터나 애너테이션을 요구하지 않고, 경로 일관성 및 이웃 밀도와 같은 구조적 패턴을 활용해 신뢰도 점수를 최적화한다.
• 신뢰도 기반 분류 전략을 적용하여 삼중항 분류를 수행하며, 이는 신뢰도 인식 표현이 결정 경계를 향상시킨다.
• 음성 삼중항 생성을 위한 필터링 프rotocol을 적용하고, 검증 세트에서 신뢰도 임계값을 최적화하여 분류 정확도를 극대화한다.

실험 결과

연구 질문

• RQ1 외부 지도 없이도 신뢰도 인식 지식 표현 학습이 지식 그래프의 노이즈 탐지에 향상 효과를 줄 수 있는가?
• RQ2 내부 구조적 정보(국소적 및 전역적)를 얼마나 효과적으로 활용하여 삼중항의 신뢰도를 추정하고 KRL의 강건성을 향상시킬 수 있는가?
• RQ3 삼중항의 신뢰도를 통합함으로써 지식 그래프 보완 및 삼중항 분류와 같은 후속 작업에서 일관된 성능 향상이 이루어지는가?
• RQ4 훈련 데이터의 노이즈 비율이 증가함에 따라 CKRL의 성능은 어떻게 변화하는가?
• RQ5 제안된 신뢰도 추정 프레임워크는 실세계 지식 구축 워크플로우에 일반화될 수 있는가?

주요 결과

• CKRL은 모든 테스트된 노이즈 수준에서 지식 그래프 노이즈 탐지에서 뚜렷하고 일관된 성능 향상을 달성하며, 기준 모델을 능가한다.
• 지식 그래프 보완 과제에서 CKRL 모델은 특히 높은 노이즈 조건에서 뚜렷한 성능 향상을 보이며, FB15K-N3에서 TransE 대비 Hits@10 (Filter)가 최대 3.5% 향상되었다.
• 삼중항 분류 과제에서 CKRL 모델은 TransE보다 더 높은 정확도를 달성했으며, 노이즈 비율이 높은 데이터셋에서 1.0–1.5%의 향상이 있었다.
• 모델의 신뢰도 추정은 강건하고 일반화 가능하며, 외부 애너테이션 없이 내부 KG 구조에만 의존하므로 실제 지식 그래프에 적용 가능하다.
• 제거 분석 결과, 국소적 및 경로 기반 신뢰도를 모두 조합한 (LT+PP+AP) 방법이 모든 과제에서 가장 안정적이고 효과적인 성능을 보였다.
• 예를 들어 FB15K-N3에서 30%의 높은 노이즈 비율이 존재하더라도 CKRL은 강력한 성능을 유지하여 실세계 지식 구축 파이프라인에 잠재적 적용 가능성을 보여준다.