[논문 리뷰] Overview of the Triple Scoring Task at the WSDM Cup 2017

Hannah Bast, Björn Buchhold외 1명|arXiv (Cornell University)|2017. 12. 21.

Topic Modeling참고 문헌 4인용 수 13

한 줄 요약

이 논문은 지식기반 삼항관계에 대해 주어진 유형(예: 직업 또는 국적)과의 적합도에 따라 정수 관련도 점수(0~7)를 부여하는 WSDM 컵 2017 트리플 스코링 과제를 제시한다. 우승 팀은 위키피디아 문장 분석과 프리베이스 경로 특징을 포함한 네 가지 방법의 앙상블에 더해 트리거어휘 후처리를 적용하여 87%의 정확도와 1.50의 평균 점수 차이(ASD)를 기록했으며, 기준 모델을 크게 앞서는 성능을 보였다.

ABSTRACT

This paper provides an overview of the triple scoring task at the WSDM Cup 2017, including a description of the task and the dataset, an overview of the participating teams and their results, and a brief account of the methods employed. In a nutshell, the task was to compute relevance scores for knowledge-base triples from relations, where such scores make sense. Due to the way the ground truth was constructed, scores were required to be integers from the range 0..7. For example, reasonable scores for the triples "Tim Burton profession Director" and "Tim Burton profession Actor" would be 7 and 2, respectively, because Tim Burton is well-known as a director, but he acted only in a few lesser known movies. The triple scoring task attracted considerable interest, with 52 initial registrations and 21 teams who submitted a valid run before the deadline. The winning team achieved an accuracy of 87%, that is, for that fraction of the triples from the test set (which was revealed only after the deadline) the difference to the score from the ground truth was at most 2. The best result for the average difference from the test set scores was 1.50.

연구 동기 및 목표

• 주어진 유형(예: 직업 또는 국적)과의 적합도에 따라 지식기반 삼항관계에 대해 관련도 점수(0–7)를 부여하는 방법을 개발하는 것.
• 사람의 평가 기준을 반영하여 '놀람' 또는 '기대감'의 직관적 개념을 반영하는 방식으로 관련도를 모델링하는 것 — 예를 들어, 페더러가 남아프리카인일 것이라고 생각할 때 얼마나 놀랄 것인지.
• 1,387개의 삼항관계에 대해 각각 7개의 이진 평가가 있는 커스터마이징된 기준 데이터를 활용해 무 supervision 학습을 위한 벤치마크를 구축하는 것.
• 710개의 삼항관계로 구성된 테스트 세트에서 정확도(ACC), 평균 점수 차이(ASD), 켄달의 타우(TAU)의 세 가지 지표를 사용해 시스템 성능을 평가하는 것.
• 외부 데이터(예: 위키피디아 문장)와 히ュ리스틱 후처리(예: 트리거어휘)의 효과를 분석하여 명시적 supervision 없이도 점수 추정 성능을 향상시키는지 탐색하는 것.

제안 방법

• 세 가지 이전 연구에서 사용된 위키피디아 문장 기반 방법과 프리베이스 경로 특징을 활용한 네 번째 방법을 조합한 앙상블 학습기.
• 프리베이스 경로 특징은 삼항관계(예: 존니 데프 | 국적 | 미국)가 높은 점수 또는 낮은 점수를 가져야 할지 판단하기 위해 이진 분류기의 입력으로 사용되었다.
• 유형과 관련된 의미적으로 강한 어휘(예: 국적의 경우 '독일', '독일인')를 워드넷, 동의어 및 수동 코딩을 통해 추출하였다.
• 후처리 규칙은 주제의 위키피디아 기사 첫 문장에 트리거어휘가 포함된 경우 점수를 최소 5로 상향 조정하였고, 첫 단락 전체에 트리거어휘가 없으면 점수를 2 이하로 제한하였다.
• 앙상블 출력은 인간의 직관적 관련도 인식에 더 잘 부합하도록 트리거어휘 규칙을 적용하여 보정되었다.
• 모든 팀은 제공된 3300만 개의 위키피디아 문장을 사용하여 unsupervised 학습을 수행하였으며, 훈련 세트(677개 삼항관계)에 대해 명시적 supervision 없이 진행되었다.

실험 결과

연구 질문

• RQ1 무 supervision 모델이 직업 및 국적을 포함한 지식기반 삼항관계에 대해 인간과 유사한 관련도 점수를 얼마나 잘 추정할 수 있는가?
• RQ2 라벨이 없는 환경에서 위키피디아 문장 특징과 프리베이스 경로 특징이 점수 추정 성능에 얼마나 기여하는가?
• RQ3 생물학적 서술어휘에서 눈에 띄는 언어적 신호를 반영한 트리거어휘 기반 후처리가 점수 추정을 얼마나 효과적으로 개선하는가?
• RQ4 정확도(ACC), 평균 점수 차이(ASD), 켄달의 타우(TAU) 등의 다양한 평가 지표 간 상관관계는 어떻게 되며, 어떤 지표가 이 과제의 진정된 성능을 가장 잘 반영하는가?
• RQ5 학습된 모델과 결합했을 때 단순 히ュ리스틱(예: 트리거어휘 규칙)이 성능 향상에 얼마나 기여하는가?

주요 결과

• 우승 팀은 테스트 세트에서 87%의 정확도(기준값 ±2 이내)와 평균 점수 차이(ASD) 1.50을 기록하여 기준 모델을 크게 앞섰다.
• 단순 기준 모델(랜덤 점수 부여)이 전체 팀의 1/3 이상을 앞서는 성능을 보였으며, 이는 많은 팀이 점수를 2와 5에 집중시키는 전략(2-5-트릭)을 활용하지 못했음을 시사한다.
• TAU(켄달의 타우) 성능은 ACC와 ASD와 약한 상관관계를 보였으며, 이는 순서 정렬과 점수 추정이 서로 다른 과제임을 시사한다.
• ASD는 ACC보다 더 강인하고 의미 있는 지표로 판명되었으며, 2-5-트릭의 이점을 받지 않으며 정확한 점수 추정의 어려움을 더 잘 반영한다.
• Bokchoy 팀의 방법은 네 가지 모델의 앙상블에 트리거어휘 후처리를 결합하여 ACC, ASD, TAU 세 지표에서 모두 상위 3위 이내 성과를 기록했으며, 하이브리드 접근 방식의 효과성을 입증했다.
• 모든 21개의 유효한 제출물이 제공된 위키피디아 문장을 사용했으며, 대부분이 원본 논문 [3]의 방법을 변형한 방식을 채택하여 이 과제에서 텍스트 기반 특징의 유용성을 확인했다.