[논문 리뷰] Towards a Flexible Embedding Learning Framework

Chin‐Chia Michael Yeh, Dhruv Gelda외 4명|arXiv (Cornell University)|2020. 09. 23.

Advanced Graph Neural Networks참고 문헌 34인용 수 6

한 줄 요약

이 논문은 다양한 데이터 유형 간 이질적인 관계를 포괄적으로 포착하기 위해 다수의 엔티티-관계-행렬을 입력으로 사용하는 유연한 임베딩 학습 프레임워크를 제안한다. 커널 정규화에 영감을 받은 샘플링 기법을 적용하고 도메인 지식을 직접 통합할 수 있도록 함으로써, 텍스트 및 거래 데이터 세트에서 클러스터링, 분류, 시각화 작업 전반에서 최신 기법들을 능가하는 성능을 보였다.

ABSTRACT

Representation learning is a fundamental building block for analyzing entities in a database. While the existing embedding learning methods are effective in various data mining problems, their applicability is often limited because these methods have pre-determined assumptions on the type of semantics captured by the learned embeddings, and the assumptions may not well align with specific downstream tasks. In this work, we propose an embedding learning framework that 1) uses an input format that is agnostic to input data type, 2) is flexible in terms of the relationships that can be embedded into the learned representations, and 3) provides an intuitive pathway to incorporate domain knowledge into the embedding learning process. Our proposed framework utilizes a set of entity-relation-matrices as the input, which quantifies the affinities among different entities in the database. Moreover, a sampling mechanism is carefully designed to establish a direct connection between the input and the information captured by the output embeddings. To complete the representation learning toolbox, we also outline a simple yet effective post-processing technique to properly visualize the learned embeddings. Our empirical results demonstrate that the proposed framework, in conjunction with a set of relevant entity-relation-matrices, outperforms the existing state-of-the-art approaches in various data mining tasks.

연구 동기 및 목표

• 기존의 임베딩 방법이 단일 관계 유형을 가정하고 이질적 의미를 포착하는 데 유연성이 떨어지는 점을 해결한다.
• 엔티티-관계-행렬을 입력으로 사용하여 입력 데이터 유형에 종속되지 않는 표현 학습을 가능하게 한다.
• 사용자 정의 가능한 행렬 구축을 통해 도메인 지식을 직관적으로 통합할 수 있는 길을 제공한다.
• 동일한 데이터베이스에서 여러 관계 유형을 동시에 모델링하여 임베딩 품질을 향상시킨다.
• 다양한 엔티티 유형 간에 학습된 임베딩을 정확하게 2D/3D로 시각화하기 위한 사후 처리 기법을 개발한다.

제안 방법

• 각 관계 유형에 따라 엔티티 간 유사도를 정량화하는 엔티티-관계-행렬을 사용하여 엔티티 간 관계를 표현한다.
• 최적화 과정에서 다수의 행렬에서 샘플링하는 기법을 설계하였으며, 다중 커널 학습에서의 커널 정규화에 영감을 받아 기여도를 균형 있게 조절한다.
• 관련된 엔티티 간 유사도를 높이고 관련이 없는 엔티티 간 유사도를 낮추는 데 목적이 있는 손실 함수를 최소화하여 임베딩 공간을 최적화한다.
• 모든 엔티티가 서로 다른 엔티티 유형에 관계없이 공통된 임베딩 공간을 사용함으로써 공동 표현 학습을 가능하게 한다.
• 고차원 임베딩을 2D 또는 3D 공간으로 투영하기 위해 사후 처리 기법을 적용하여 의미 있는 시각화를 수행하며, t-SNE나 MDS와 같은 표준 방법이 실패하는 것을 방지한다.
• 거래 내 공출현, 공유 사용자, 이름 유사도 등의 다양한 소스에서 엔티티-관계-행렬을 구성하여 이질적인 관계를 반영한다.

Figure 1: Motivating Example. A use case of the proposed framework for credit card transaction database. Five matrices describing the relationships of restaurant, cuisine style, user, and word appears in name of restaurant are extracted from credit card transaction database. Embeddings are learned u

실험 결과

연구 질문

• RQ1 단일 기반 의미적 구조를 가정하지 않고도 다수의 이질적 관계 유형에서 효과적으로 학습할 수 있는 통합 임베딩 프레임워크가 가능한가?
• RQ2 커널 정규화에 기반한 제안된 샘플링 기법이 표준 행렬 분해 기법에 비해 임베딩 품질을 어떻게 향상시키는가?
• RQ3 엔티티-관계-행렬의 설계를 통해 도메인 지식을 얼마나 직관적으로 학습 과정에 통합할 수 있는가?
• RQ4 다양한 데이터 유형에서 클러스터링 및 분류와 같은 후행 작업에서 기존 최신 기법들을 능가하는가?
• RQ5 제안된 사후 처리 기법이 표준 차원 축소 방법보다 더 정확하고 해석 가능한 임베딩 시각화를 제공하는가?

주요 결과

• 제안된 프레임워크는 20news 및 RCV1 텍스트 데이터 세트에서 클러스터링, 분류, 시각화의 세 가지 평가 지표 전반에서 최신 기법들을 능가했다.
• 공출현, 사용자 공유, 이름 유사도 등의 다수의 엔티티-관계-행렬을 사용할 경우 단일 행렬 유형에 의존하는 것보다 더 정보가 풍부한 임베딩을 얻을 수 있었다.
• 위키백과 임베딩 등 외부 데이터셋에서 유도된 행렬을 사용할 경우에도 프레임워크가 뛰어난 성능을 보이며, 이는 프레임워크의 유연성과 일반화 능력을 입증한다.
• 사후 처리 기법은 2D/3D 공간에서 임베딩을 성공적으로 시각화하여 의미 있는 클러스터와 의미적 군집을 드러내었으며, t-SNE나 MDS와 같은 표준 방법은 구조를 유지하지 못하는 데에 실패하였다.
• 학습된 임베딩에서 생성된 워드 클라우드의 주관적 분석 결과, 문서 임베딩이 관련 단어와 의미적으로 일치함을 확인하여 맥락적 의미를 효과적으로 포착하고 있음을 확인하였다.
• 하이퍼파라미터 민감도 분석 결과, 다양한 설정에서도 안정적인 성능을 보였으며, 이는 프레임워크의 강건성을 강화한다.

Figure 2: Example entity-relation-matrices.