[논문 리뷰] Learning Semantic Relatedness From Human Feedback Using Metric Learning

Thomas Niebler, Martin Becker외 2명|arXiv (Cornell University)|2017. 05. 21.

Topic Modeling참고 문헌 17인용 수 4

한 줄 요약

이 논문은 사전에 학습된 단어 임베딩에 인간의 피드백을 통합하여 의미적 유사도 측정을 향상시키는 메트릭 학습 접근법을 제안한다. 인간의 직관과의 일치도를 크게 향상시킨다. 인간 평가에서 유도된 상대적 제약 조건을 사용함으로써, 위키백과 및 태깅 시스템과 같은 다양한 데이터 소스에서 표준 코사인 유사도를 초월하는 성능을 보이며, 의미적 유사도 예측에서 강건하고 확장 가능한 향상 효과를 입증한다.

ABSTRACT

Assessing the degree of semantic relatedness between words is an important task with a variety of semantic applications, such as ontology learning for the Semantic Web, semantic search or query expansion. To accomplish this in an automated fashion, many relatedness measures have been proposed. However, most of these metrics only encode information contained in the underlying corpus and thus do not directly model human intuition. To solve this, we propose to utilize a metric learning approach to improve existing semantic relatedness measures by learning from additional information, such as explicit human feedback. For this, we argue to use word embeddings instead of traditional high-dimensional vector representations in order to leverage their semantic density and to reduce computational cost. We rigorously test our approach on several domains including tagging data as well as publicly available embeddings based on Wikipedia texts and navigation. Human feedback about semantic relatedness for learning and evaluation is extracted from publicly available datasets such as MEN or WS-353. We find that our method can significantly improve semantic relatedness measures by learning from additional information, such as explicit human feedback. For tagging data, we are the first to generate and study embeddings. Our results are of special interest for ontology and recommendation engineers, but also for any other researchers and practitioners of Semantic Web techniques.

연구 동기 및 목표

• 코퍼스 기반의 의미적 유사도 측정과 인간의 직관 사이의 격차를 해소하기 위해.
• 명시적인 인간 피드백을 제약 조건으로 사용하여 기존 단어 임베딩을 향상시키는 확장 가능하고 유연한 방법을 개발하기 위해.
• 특히 이전에 의미 임베딩에 대해 연구되지 않은 태깅 데이터를 포함한 신규 데이터 소스에서 메트릭 학습의 효과성을 탐색하기 위해.
• 학습된 메트릭이 다른 인간 애너테이션 기반의 유사도 데이터셋으로 일반화되는지 평가하기 위해.
• 사용자 제공 피드백을 통해 개인화되거나 도메인 특화된 의미적 유사도 모델을 가능하게 하기 위해.

제안 방법

• 인간 평가 기반의 의미적 유사도에 기반해 상대적 제약 조건(4중조합)을 사용한 메트릭 학습을 적용하여 기존 단어 임베딩을 보완한다.
• 고차원 희소 벡터 대신 저차원 밀집 단어 임베딩을 사용하여 의미 표현력을 향상시키고 계산 비용을 절감한다.
• 인간 피드백을 거리 제약 조건으로 인코딩한다: 예를 들어, 단어 쌍 A-B는 C-D보다 더 유사해야 한다는 기준이다.
• 유사도가 높은 단어 쌍 간의 거리를 최소화하고, 덜 관련된 쌍 간의 거리를 최대화하는 메트릭을 마진 기반 최적화 기법을 사용해 학습한다.
• 위키백과 텍스트, 탐색 경로, 소셜 태깅 데이터 등 다양한 소스에서 유도된 임베딩과도 호환 가능한 메트릭 학습 프레임워크를 적응시킨다.
• 인간 평가 기반의 표준 벤치마크(MEN 및 WS-353)에서 학습된 메트릭의 성능을 평가하여 인간 평가와의 상관관계를 측정한다.

실험 결과

연구 질문

• RQ1 사전에 학습된 단어 임베딩에 인간 피드백을 통합함으로써 메트릭 학습이 의미적 유사도 측정을 상당히 향상시킬 수 있는가?
• RQ2 위키백과 텍스트, 탐색 경로, 태깅 데이터와 같은 다양한 데이터 소스에서 학습된 메트릭의 성능은 어떻게 변하는가?
• RQ3 한 인간 애너테이션 데이터셋에서 학습된 메트릭이 다른 인간 애너테이션 기반의 유사도 데이터셋으로 얼마나 잘 일반화되는가?
• RQ4 오염되거나 잘못된 인간 피드백으로 학습할 경우, 이 방법은 여전히 강건한가?
• RQ5 태깅 데이터는 의미 있는 단어 임베딩로 효과적으로 변환될 수 있는가?

주요 결과

• 제안된 메트릭 학습 접근법은 이전에 이러한 임베딩에 대해 연구되지 않은 태깅 데이터를 포함한 모든 테스트 데이터 소스에서 의미적 유사도 측정을 상당히 향상시킨다.
• MEN 및 WS-353와 같은 기준 벤치마크 데이터셋에서 표준 코사인 유사도보다 인간 평가와의 상관관계가 더 높다.
• 학습된 메트릭은 다양한 인간 애너테이션 기반의 데이터셋 간에 잘 일반화되며, 피드백 기반 지식의 이식 가능성을 시사한다.
• 거짓되거나 잘못된 피드백으로 학습할 경우 모델의 성능이 저하됨을 확인하였으며, 이는 메트릭이 입력 제약 조건을 신뢰성 있게 캡처하고 있으며 과적합되지 않는다는 것을 확인한다.
• 고차원 벡터 대비 단어 임베딩의 사용은 메트릭 학습 과정에서 더 나은 의미 표현력과 더 낮은 계산 비용을 제공한다.
• 이 연구는 태깅 데이터로부터 임베딩를 생성하고 분석한 최초의 사례로, 이들이 의미적 유사도 작업에 실질적인 유용성을 지닌다는 것을 입증한다.