[논문 리뷰] Using Word Embeddings for Visual Data Exploration with Ontodia and Wikidata

Gerhard Wohlgenannt, Nikolay Klimov외 4명|arXiv (Cornell University)|2019. 03. 04.

Semantic Web and Ontologies참고 문헌 8인용 수 4

한 줄 요약

이 논문은 비기술자 사용자를 위한 Linked Data 탐색을 개선하기 위해 Ontodia의 자연어 검색 기능을 향상시키기 위해 단어 임베딩을 통합하여 의미적으로 관련된 엔티티 속성을 추천함으로써 탐색 가능성 향상에 기여한다. Wikidata를 활용하여 fastText, LexVec, GloVe 임베딩을 평가한 결과, 전체 어휘와 300D 벡터를 사용한 fastText가 관련 속성 순위 매기기에서 가장 높은 정확도(MRR 0.78)를 기록하여 시각적 데이터 탐색에서 사용자 경험을 크게 향상시켰다.

ABSTRACT

One of the big challenges in Linked Data consumption is to create visual and natural language interfaces to the data usable for non-technical users. Ontodia provides support for diagrammatic data exploration, showcased in this publication in combination with the Wikidata dataset. We present improvements to the natural language interface regarding exploring and querying Linked Data entities. The method uses models of distributional semantics to find and rank entity properties related to user input in Ontodia. Various word embedding types and model settings are evaluated, and the results show that user experience in visual data exploration benefits from the proposed approach.

연구 동기 및 목표

• 비기술자 사용자가 Linked Data를 탐색할 때 정확한 레이블 매칭을 초월한 의미적 매칭을 가능하게 하여 Ontodia의 자연어 검색 기능을 향상시키기.
• fastText, LexVec, GloVe와 같은 다양한 사전 훈련된 단어 임베딩 모델과 그 하이퍼파라미터의 효과를 평가하여 Wikidata 내 의미적으로 관련된 엔티티 속성을 추천하는 데에 유용한지 확인하기.
• 분포적 의미론을 통한 단어 임베딩이 정확한 어휘 매칭에 의존하는 것을 줄이고 사용자 경험을 향상시키며, 시각적 데이터 탐색을 개선할 수 있음을 입증하기.
• 모델 크기, 벡터 차원 수, 속성 설명의 포함 여부가 검색 성능에 미치는 영향을 조사하기.

제안 방법

• 레이블(및 선택적으로 설명)의 단어 임베딩을 토큰화하고 불용어를 제거한 후, 각 Wikidata 속성을 벡터로 표현한다.
• 유사한 방법으로 사용자 쿼리를 벡터 표현으로 변환한다: 토큰화, 불용어 제거, 단어 벡터의 합산.
• 쿼리 벡터와 각 속성 벡터 간의 코사인 유사도를 기반으로 모든 엔티티 속성을 의미적으로 관련된 순서로 정렬한다.
• 검색 인터페이스를 확장하여 정확한 매칭, 별칭 매칭, 임베딩 기반 의미 매칭을 유사도 점수 순서로 반환한다.
• 골드 표준 속성 별칭 데이터셋을 기반으로 위키피디아 및 추가 코퍼스에서 fastText, LexVec, GloVe 등의 다양한 단어 임베딩 모델을 훈련하고 평가한다.
• 모델 성능을 정량적으로 평가하기 위해 MRR(Mean Reciprocal Rank)와 top-k 정확도를 사용하여 전체 Wikidata와 엔티티별 속성 세트에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 단어 임베딩은 정확한 레이블 매칭을 초월하여 Wikidata 내 의미적으로 관련된 엔티티 속성을 자연어 쿼리에 대해 효과적으로 추천할 수 있는가?
• RQ2 정확도와 강건성 측면에서 이 작업에 가장 잘 맞는 사전 훈련된 단어 임베딩 모델(fastText, LexVec, GloVe)은 무엇인가?
• RQ3 모델 하이퍼파라미터—예를 들어 어휘 크기와 벡터 차원 수—는 속성 추천 성능에 어떤 영향을 미치는가?
• RQ4 벡터 표현에 속성 설명을 포함시키면 의미 매칭 정확도가 향상되는가?
• RQ5 제안된 방법은 Ontodia를 통한 상호작용적 시각적 데이터 탐색에서 사용자 경험을 크게 향상시킬 수 있는가?

주요 결과

• fastText는 모든 평가 설정에서 LexVec와 GloVe를 압도적으로 뛰어넘으며, 엔티티별 속성 검색 작업에서 최고의 MRR 0.78을 기록했다.
• 300,000개의 어휘를 사용하고 300차원의 벡터를 사용할 경우 최고의 성능을 기록했으며, 어휘 크기를 10,000개로 줄이면 정확도가 급격히 떨어졌다.
• 속성 설명을 벡터 표현에 포함시키면 성능 향상이 이루어져 더 rich한 의미 표현이 가능함을 시사한다.
• 엔티티별 별칭에 대한 속성 추천에서 상위 1위 정확도는 68.63%, 상위 3위 정확도는 84.75%를 기록하여 높은 관련성과 정확도를 입증했다.
• 인터랙티브 환경에서 쿼리 응답 시간은 10ms 이내로 유지되어 실시간 사용자 상호작용에 적합하다.
• Wikidata의 데이터 품질 문제—예를 들어 'end time'에 대해 'divorced'라는 비동의어 별칭이 존재하는 것—은 잘못된 분류를 유발하며, 데이터 정제의 기회를 드러낸다.