[논문 리뷰] Knowledge Graph Embeddings and Explainable AI

Federico Bianchi, Gaetano Rossiello외 3명|arXiv (Cornell University)|2020. 04. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 101인용 수 30

한 줄 요약

이 장은 지식 그래프 임베딩의 개념을 소개하고, 그것들이 어떻게 생성되고 평가되는지 설명하며, 최신 연구 동향을 조사하고, 임베딩이 설명가능성을 지원할 수 있는 방법을 논의한다.

ABSTRACT

Knowledge graph embeddings are now a widely adopted approach to knowledge representation in which entities and relationships are embedded in vector spaces. In this chapter, we introduce the reader to the concept of knowledge graph embeddings by explaining what they are, how they can be generated and how they can be evaluated. We summarize the state-of-the-art in this field by describing the approaches that have been introduced to represent knowledge in the vector space. In relation to knowledge representation, we consider the problem of explainability, and discuss models and methods for explaining predictions obtained via knowledge graph embeddings.

연구 동기 및 목표

• 지식 그래프 임베딩이 무엇인지 그리고 그것들이 어떻게 저차원 벡터로 표현되는지 정의한다.
• KG 임베딩이 어떻게 생성되고 학습되는지, 점수화와 손실 함수를 포함하여 설명한다.
• 전이(translational) 및 선형(bilinear) 모델의 주요 계열과 주요 예시를 조사한다.
• 추가 정보(텍스트, 이미지, 논리)가 임베딩과 그 설명가능성을 어떻게 향상시킬 수 있는지 논의한다.

제안 방법

• KG를 3D 인접 텐서로 표현하고 엔티티와 관계를 벡터 공간에 임베딩한다.
• TransE 스코어링 함수와 음수 샘플링을 통한 여백 기반 손실로 학습을 설명한다.
• 구조와 설명을 결합하는 DKRL과 같이 추가 정보를 포함시키는 확장을 개략적으로 제시한다.
• 임베딩 모델을 전이적(translational), 선형(bilinear), 신경(neural), 최근의 신경-기호(neural-symbolic) 접근으로 분류하고 대표 예시를 제시한다(예: RESCAL, DistMult, ComplEx, RotatE, HAKE).
• 음수 샘플링의 역할(예: 손상된 트리플) 및 적대적 기법(KBGAN 등)이 학습에서 어떤 역할을 하는지 설명한다.
• 링크 예측에 대한 평가와 데이터셋 및 하이퍼파라미터가 결과에 어떤 영향을 미치는지 논의한다.

실험 결과

연구 질문

• RQ1 지식 그래프 임베딩의 주요 범주와 대표 모델은 무엇인가?
• RQ2 특히 링크 예측을 위해 KG 임베딩은 어떻게 학습되고 평가되는가?
• RQ3 외부 정보(텍스트, 이미지, 규칙)로 임베딩을 강화하는 접근 방식에는 어떤 것이 있으며 이것이 설명가능성에 어떤 영향을 미치는가?
• RQ4 KG 임베딩의 설명가능성에 대한 도전과 전망은 무엇인가?

주요 결과

• 전이 모델(예: TransE)과 선형 모델(예: RESCAL, DistMult, ComplEx)이 핵심 KG 임베딩 계열을 형성한다.
• ComplEx와 RotatE 같은 모델이 비대칭성 및 관계적 특성을 더 효과적으로 다루며, 단순 대각/거리 기반 변형보다 우수한 성능을 보인다.
• 텍스트, 이미지, 논리 규칙의 활용은 표현을 개선하고 제로샷 또는 다중 모달 능력을 가능하게 할 수 있다.
• 설명가능성은 임베딩이 잠재 요인을 인코딩하기 때문에 여전히 도전적이며, 최근 연구는 추론 및 논리와 임베딩의 통합을 통해 설명을 돕는 방향으로 진행되고 있다.
• TKRL, HAKE, TuckER, COKE 등과 같은 고급 접근 방식과 더 나은 해석 가능성을 위한 신경-기호 방법의 탐색이 광범위하게 이루어지고 있다.