[논문 리뷰] Efficient Knowledge Graph Accuracy Evaluation

Junyang Gao, Xian Li외 4명|arXiv (Cornell University)|2019. 07. 23.

Advanced Graph Neural Networks참고 문헌 22인용 수 5

한 줄 요약

이 논문은 군집 샘플링, 가중치 샘플링 및 분层 기반 기법을 활용하여 지식 그래프(KG) 정확도 평가를 위한 통계적으로 타당하고 비용 효율적인 샘플링 프레임워크를 제안한다. 정적 KG에서는 최대 60%의 비용 절감을, 변화하는 KG에서는 최대 80%의 비용 절감을 달성하면서 평가 품질을 손상시키지 않으며, 분층 및 가중치 기반 리저보아 샘플링을 통해 점진적 업데이트를 지원한다.

ABSTRACT

Estimation of the accuracy of a large-scale knowledge graph (KG) often requires humans to annotate samples from the graph. How to obtain statistically meaningful estimates for accuracy evaluation while keeping human annotation costs low is a problem critical to the development cycle of a KG and its practical applications. Surprisingly, this challenging problem has largely been ignored in prior research. To address the problem, this paper proposes an efficient sampling and evaluation framework, which aims to provide quality accuracy evaluation with strong statistical guarantee while minimizing human efforts. Motivated by the properties of the annotation cost function observed in practice, we propose the use of cluster sampling to reduce the overall cost. We further apply weighted and two-stage sampling as well as stratification for better sampling designs. We also extend our framework to enable efficient incremental evaluation on evolving KG, introducing two solutions based on stratified sampling and a weighted variant of reservoir sampling. Extensive experiments on real-world datasets demonstrate the effectiveness and efficiency of our proposed solution. Compared to baseline approaches, our best solutions can provide up to 60% cost reduction on static KG evaluation and up to 80% cost reduction on evolving KG evaluation, without loss of evaluation quality.

연구 동기 및 목표

• 대규모 지식 그래프 정확도 평가를 위한 효율적이고 통계적으로 신뢰할 수 있는 방법이 부족한 문제를 해결하기 위해.
• 같은 엔티티에 대한 삼중항에 대해 공유된 엔티티 식별 비용이 낮은 실용적 비용 구조를 활용하여 정규화 비용을 줄이기 위해.
• 정적 및 변화하는 지식 그래프 모두에서 인간 노동을 최소화하면서도 통계적 타당성을 유지하는 샘플링 프레임워크를 설계하기 위해.
• 다시 평가하지 않고도 변화하는 지식 그래프에서 점진적인 정확도 평가를 가능하게 하여 효율성과 정확성을 유지하기 위해.
• 기본 샘플링 방법보다 비용 효율성과 통계적 신뢰성에서 뛰어난 확장성 있고 견고한 솔루션을 제공하기 위해.

제안 방법

• 동일한 엔티티에 대한 삼중항은 재식별 노력이 줄어들기 때문에 엔티티 유사도 기반 군집 샘플링을 도입하여 정규화 비용을 줄인다.
• 높은 영향도 또는 정보성 있는 샘플을 우선순위로 정하여 추정 효율성을 향상시키기 위해 가중치 샘플링을 적용한다.
• 다양한 엔티티 유형이나 술어에 걸쳐 균형 잡힌 표본을 확보하기 위해 분류 기반 샘플링을 사용하여 통계적 탄력성을 강화한다.
• 변화하는 지식 그래프를 대상으로 한 두 가지 점진적 평가 솔루션을 제안한다: 하나는 분류 기반 샘플링에 기반하고, 다른 하나는 리저보아 샘플링의 가중치 변형을 사용한다.
• 감소된 샘플링에도 불구하고 신뢰구간을 보장하는 통계 프레임워크를 도입하여 정확도 추정의 신뢰성을 확보한다.
• 이력 샘플링 기록을 유지하고 업데이트에 효율적으로 대응함으로써 변화하는 지식 그래프를 지원하기 위해 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 인간 정규화 비용을 최소화하면서도 통계적 타당성을 유지하는 지식 그래프 정확도 평가 샘플링 전략을 설계할 수 있는가?
• RQ2 동일한 엔티티를 다수의 삼중항이 참조할 경우, 엔티티 군집화가 정규화 비용 절감에 어떤 역할을 하는가?
• RQ3 완전한 평가를 다시 수행하지 않고도 변화하는 지식 그래프에서 효율적인 점진적 정확도 평가를 수행하는 방법은 무엇인가?
• RQ4 분류, 가중치, 또는 리저보아 기반 샘플링 기법 중에서 동적 지식 그래프에서 비용과 정확도 사이의 최적 균형을 이루는 기법은 무엇인가?
• RQ5 정규화 노력의 최대 80%를 줄여도 강력한 통계적 보장(예: 신뢰구간)을 확보할 수 있는가?

주요 결과

• 제안된 프레임워크는 기준 랜덤 샘플링 대비 정적 지식 그래프에서 최대 60%의 정규화 비용 절감을 달성한다.
• 변화하는 지식 그래프에서는 높은 정확도 추정 품질을 유지하면서도 최대 80%의 비용 절감을 달성한다.
• 군집 샘플링은 관련 삼중항 간 엔티티 식별 노력의 재사용으로 인해 비용 절감에 크게 기여하며, 특히 밀도 높은 엔티티 군집에서 두드러진다.
• 이중 단계 샘플링 및 분류 기반 기법은 엔티티 유형과 술어에 걸쳐 균형 잡힌 표현을 확보하여 추정 정밀도를 향상시킨다.
• 가중치가 부여된 리저보아 샘플링 변형은 낮은 오버헤드로 효율적인 점진적 평가를 가능하게 하여 실시간 지식 그래프 업데이트에 적합하다.
• 프레임워크는 정확도 추정에 대해 통계적으로 타당한 신뢰구간을 제공하여, 샘플링 감소에도 불구하고 신뢰성을 확보한다.