[논문 리뷰] Negative Sampling in Knowledge Graph Representation Learning: A Review

Tiroshan Madushanka, Ryutaro Ichise|arXiv (Cornell University)|2024. 02. 29.

Artificial Intelligence in Healthcare인용 수 7

한 줄 요약

지식 그래프 표현 학습을 위한 음수 샘플링 방법에 대한 체계적 고찰로, 정적 및 동적 접근법을 다섯 그룹으로 분류하고 연구의 남은 도전 과제를 제시한다.

ABSTRACT

Knowledge Graph Representation Learning (KGRL), or Knowledge Graph Embedding (KGE), is essential for AI applications such as knowledge construction and information retrieval. These models encode entities and relations into lower-dimensional vectors, supporting tasks like link prediction and recommendation systems. Training KGE models relies on both positive and negative samples for effective learning, but generating high-quality negative samples from existing knowledge graphs is challenging. The quality of these samples significantly impacts the model's accuracy. This comprehensive survey paper systematically reviews various negative sampling (NS) methods and their contributions to the success of KGRL. Their respective advantages and disadvantages are outlined by categorizing existing NS methods into six distinct categories. Moreover, this survey identifies open research questions that serve as potential directions for future investigations. By offering a generalization and alignment of fundamental NS concepts, this survey provides valuable insights for designing effective NS methods in the context of KGRL and serves as a motivating force for further advancements in the field.

연구 동기 및 목표

• 음수 샘플링이 KGRL에서 왜 중요한지와 샘플 품질이 임베딩에 어떻게 영향을 미치는지 설명한다.
• 정적, 동적, 보조 데이터 기반 범주에 걸친 음수 샘플링 방법의 체계적 분류체계를 제공한다.
• NS 방법의 특성(효율성, 효과성, 안정성, 독립성, 품질)을 분석한다.
• 음수 샘플링(NS)에서의 연구 질문과 미래 방향을 요약한다.

제안 방법

• 다수의 데이터베이스와 ArXiv를 대상으로 NS 방법에 대한 PRISMA 기반의 체계적 문헌 고찰을 수행한다.
• NS 방법의 다섯 범주 분류 체계(Static NS, Dynamic NS, External Model-Based, Auxiliary Data-Based, Mixing NS)를 제안한다.
• 노이즈 대조 추정(NCE) 기반의 양성/음성 샘플링을 포함한 KGRL 프레임워크를 자세히 설명한다.
• 품질 음수 및 NS 표기법에 대한 표준 표기 및 개념을 정의한다.
• 효율성, 효과성, 안정성, 독립성, 품질의 다섯 차원으로 NS 방법을 평가한다.

실험 결과

연구 질문

• RQ1 KGRL에서 사용되는 음수 샘플링 방법의 주요 범주와 하위 범주는 무엇인가?
• RQ2 정적 NS와 동적 NS 접근은 효율성, 효과성, 품질 측면에서 어떻게 비교되는가?
• RQ3 지식 그래프 임베딩에서의 음수 샘플링에 관한 연구의 개방된 도전과제와 미래 방향은 무엇인가?
• RQ4 NCE 프레임워크가 KGRL에 어떻게 적용되어 음수 샘플 생성에 영향을 주는가?

주요 결과

• 본 논문은 NS 방법의 다섯 범주 및 다수 하위 범주로 구성된 포괄적 분류체계를 제시한다.
• 음수 샘플링 품질은 KGE 학습 및 다운스트림 작업에 큰 영향을 미치며 효율성, 안정성, 독립성 간의 트레이드오프가 있다.
• 품질 음수 및 샘플링을 S̄(h,r,t)에서 샘플링하는 것 등 NS 논의를 표준화하는 형식적 체계와 표기법을 제시한다.
• PRISMA 기반 검토 과정에서 47편의 관련 논문을 다양한 장소와 arXiv에서 도출했고 역사적 및 현대의 NS 기술을 개요화했다.
• 일반 KGRL 프레임워크와 변환 거리(translational distance) 및 의미 매칭 모델에 대한 목적식이 포함된 일반 KGRL 프레임워크를 제시한다.
• 어떤 NS 방법도 모든 바람직한 속성(효율성, 효과성, 안정성, 독립성, 품질)을 완전히 충족하지 않는다는 것을 확인하고, 트레이드오프를 강조한다.