[논문 리뷰] Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images

Steffen Thoma, Achim Rettinger외 1명|arXiv (Cornell University)|2017. 04. 20.

Topic Modeling참고 문헌 20인용 수 5

한 줄 요약

이 논문은 단어 수준의 정렬을 통해 텍스트, 시각, 지식 그래프 임베딩을 공유 개념 공간에 통합하는 삼중 모odal 지식 융합 프레임워크를 제안한다. DBpedia에서 사전 훈련된 word2vec, Inception-V3, TransE를 기반으로 표현을 융합함으로써 단어 유사도 벤치마크에서 뛰어난 성능을 달성하였으며, 이는 다중 모달 융합이 단모달 또는 이모달 접근 방식보다 더 인간다운 개념 표현을 제공함을 보여준다.

ABSTRACT

We present a baseline approach for cross-modal knowledge fusion. Different basic fusion methods are evaluated on existing embedding approaches to show the potential of joining knowledge about certain concepts across modalities in a fused concept representation.

연구 동기 및 목표

• 텍스트, 시각, 지식 그래프 임베딩을 융합함으로써 개념 표현 품질이 향상되는지 조사하는 것.
• 공유된 다중 모달 임베딩 공간이 단모달 또는 이모달 표현보다 인간의 개념 유사도 개념을 더 잘 반영하는지 평가하는 것.
• 세 가지 다른 모달리티에서 유래한 이질적인 임베딩을 단어 수준에서 정렬하고 융합하는 확장 가능한 방법을 개발하는 것.
• 모달 간의 정보가 더 풍부하고 통합적인 개념 표현을 캡처하는 데 어떻게 상호보완적인지를 입증하는 것.

제안 방법

• 텍스트 표현을 위해 사전 훈련된 word2vec 임베딩을 사용하고, 시각 표현을 위해 Inception-V3 특징을 사용하며, 지식 그래프 개념을 위해 자체 훈련된 TransE 임베딩을 사용한다.
• DBpedia 개념을 그들의 가장 일반적인 표면 형태로 매핑하고, WordNet 동의어집에 따라 ImageNet 이미지 특징을 최대 풀링을 통해 집계함으로써 모든 모달리티를 단어 수준에서 정렬한다.
• 텍스트, 이미지, 지식 그래프에서 정렬된 단어 수준 표현을 연결하여 공유된 삼중 모달 임베딩 공간을 구축한다.
• 두 단계의 정렬 과정을 활용한다: 첫째, WordNet 을 통해 지식 그래프 엔티티와 이미지 특징을 공통의 단어 수준 개념으로 매핑하고, 둘째, 정렬된 임베딩을 하나의 통합 표현으로 융합한다.
• WordNet의 계층적 구조를 활용하여 추상적 개념 표현(예: '바이올린'과 '하프'를 조합하여 '악기'를 표현)을 생성한다.
• 인간이 평가한 표준 단어 유사도 데이터셋을 사용하여 융합된 임베딩의 성능을 평가함으로써 인간의 인식과의 일치 정도를 측정한다.

실험 결과

연구 질문

• RQ1 텍스트, 시각, 지식 그래프 임베딩의 융합이 단모달 또는 이모달 접근 방식보다 더 통합적이고 인간다운 개념 표현을 생성할 수 있는가?
• RQ2 시각 및 지식 그래프 임베딩이 텍스트 단어 임베딩이 개념 유사도를 캡처하는 데 있어 얼마나 보완적인 정보를 제공하는가?
• RQ3 모달 간의 단어 수준 정렬이 개념 표현을 위한 통합된 공유 임베딩 공간을 만드는 데 얼마나 효과적인가?
• RQ4 세 가지 모달리티를 모두 포함함으로써 개별 또는 쌍 모달리티 대비 단어 유사도 벤치마크 성능 향상이 측정 가능한가?

주요 결과

• 융합된 삼중 모달 표현은 표준 단어 유사도 벤치마크에서 단모달 및 이모달 표현보다 일관되게 뛰어난 성능을 보였으며, 다중 모달 융합이 개념 표현을 향상시킨다는 가설을 확인하였다.
• 시각 및 지식 그래프 임베딩의 포함이 유사도 점수를 크게 향상시켜, 텍스트만으로는 포착되지 않는 보완적인 정보를 제공한다는 점을 시사하였다.
• 공유된 개념 공간은 어떤 단일 모달리티보다 인간이 평가한 유사도 판단과 더 높은 상관관계를 보였으며, 인간의 인식과의 일치도가 더 높다는 것을 입증하였다.
• 모달리티 간의 개념 겹침이 제한적이더라도, 정렬된 임베딩의 융합이 더 강력하고 통합적인 표현을 만들어 냈다.
• 시각 임베딩은 커버리지가 제한되어 있는 브레이크넥스일 수는 있으나, 적절히 정렬된 경우 최종 표현 품질에 의미 있는 기여를 하였다.
• WordNet 을 통해 지식 그래프 및 이미지 특징을 단어 수준 개념으로 매핑하는 두 단계 정렬 과정이 다중 모달 융합을 가능하게 하여 효과적이었다.