[논문 리뷰] Predicting Pairwise Relations with Neural Similarity Encoders

Franziska Horn, Klaus‐Robert Müller|arXiv (Cornell University)|2017. 02. 06.

Neural Networks and Applications참고 문헌 56인용 수 7

한 줄 요약

이 논문은 입력 특징에서 임베딩으로의 매핑을 학습하여 임베딩 벡터의 내적값이 쌍별 유사도를 근사하도록 함으로써 저차원의 유사도 유지 임베딩을 학습하는 새로운 신경망 아키텍처인 SimEc을 소개한다. 스펙트럴 방법과 달리 SimEc는 커널 함수가 필요 없이 샘플 외 예측을 가능하게 하고, 결측치를 처리하며, 비거리수학적 유사도와 다중관계 예측을 지원하며, 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Matrix factorization is at the heart of many machine learning algorithms, for example, dimensionality reduction (e.g. kernel PCA) or recommender systems relying on collaborative filtering. Understanding a singular value decomposition (SVD) of a matrix as a neural network optimization problem enables us to decompose large matrices efficiently while dealing naturally with missing values in the given matrix. But most importantly, it allows us to learn the connection between data points' feature vectors and the matrix containing information about their pairwise relations. In this paper we introduce a novel neural network architecture termed Similarity Encoder (SimEc), which is designed to simultaneously factorize a given target matrix while also learning the mapping to project the data points' feature vectors into a similarity preserving embedding space. This makes it possible to, for example, easily compute out-of-sample solutions for new data points. Additionally, we demonstrate that SimEc can preserve non-metric similarities and even predict multiple pairwise relations between data points at once.

연구 동기 및 목표

• 기존 알려진 커널 함수에 의존하지 않고 쌍별 관계로부터 유사도 유지 임베딩을 학습하는 신경망 아키텍처를 개발하는 것.
• 입력 특징에서 임베딩 공간으로의 직접 매핑을 학습하여 새로운 데이터 포인트에 대한 샘플 외 예측을 가능하게 하는 것.
• 伝통적인 스펙트럴 방법과 달리, 유사도 행렬 내 결측치를 효과적으로 처리하는 것.
• 비거리수학적 유사도와 동시에 여러 쌍별 관계를 예측하는 것을 지원하는 것.
• 표준 커널 주성분 분석과 스펙트럴 분해를 초월하는 일반화 능력을 갖춘 유연하고 학습 가능한 프레임워크를 제공하는 것.

제안 방법

• SimEc는 입력 특징 xi에서 저차원 임베딩 벡터 yi로의 매핑 f′: xi → yi를 학습하기 위해 피드포워드 신경망을 사용한다.
• 모델은 목표 유사도 행렬 S와 임베딩 벡터의 내적값 간의 재구성 오차를 최소화하며, 즉 min ||S − Y Yᵀ||²을 최소화한다.
• 목표 행렬 S에서 직접 유사도 공간을 학습함으로써 거리수학적 및 비거리수학적 유사도를 모두 지원한다.
• 학습 중 가중치 오차 함수를 사용하여 S 내의 결측치를 처리할 수 있다.
• 다중관계 예측을 위해 SimEc는 유사도 행렬을 텐서로 스택하거나 단일 행렬로 합하여 다중 행렬을 동시에 학습할 수 있다.
• Keras 기반 구현을 통해 GPU에서 엔드 투 엔드 학습이 가능하며, 효율적인 추론과 샘플 외 일반화를 지원한다.

실험 결과

연구 질문

• RQ1 신경망은 알려진 커널 함수가 없는 상태에서 샘플 외 예측을 지원하는 유사도 유지 임베딩을 학습할 수 있는가?
• RQ2 스펙트럴 방법과 비교해 신경 모델은 쌍별 유사도 행렬 내 결측치를 얼마나 잘 처리할 수 있는가?
• RQ3 SimEc는 인간 평가에서 유도된 비거리수학적 유사도를 효과적으로 학습하고 예측할 수 있는가?
• RQ4 SimEc는 한 번의 모델에서 여러 쌍별 관계(예: 양성 및 음성 유사도)를 동시에 예측할 수 있는 정도는 어느 정도인가?
• RQ5 알 수 없는 또는 비커널 기반의 유사도 원천으로부터 학습할 수 있는 능력이 하류 작업의 일반화 및 성능 향상에 기여하는가?

주요 결과

• SimEc는 MNIST 및 CIFAR-10와 같은 기준 데이터셋에서 경쟁적인 성능을 보이며, 유사도 재구성에서 커널 주성분 분석과 동일하거나 이를 초월한다.
• 모델은 인간 평가에서 유도된 유사도와 같은 알려지지 않은 과정에서 유도된 유사도일지라도 샘플 외 예측을 성공적으로 수행한다.
• SimEc는 유사도 행렬 내 결측치를 효과적으로 처리하며, 완전한 행렬이 필요로 하는伝통적인 SVD 기반 방법보다 성능이 뛰어나다.
• 스택하거나 합쳐진 유사도 행렬(S₁ + S₂)로 훈련한 경우 SimEc는 두 구성 요소의 정보를 유지하며, 개별 행렬로 훈련된 모델과 유사한 예측 오차를 기록한다.
• 마지막 레이어의 가중치 행렬 Wₗ을 사용해 개별 유사도 행렬(S₁ 및 S₂)을 예측할 경우, Y Yᵀ의 내적값을 사용하는 것보다 오차가 낮아, 모델이 다중관계 학습 능력을 갖추고 있음을 보여준다.
• 약물-단백질 상호작용 예측, 추천 시스템, 심리물리학 등 실제 응용 분야로의 일반화가 잘 이루어지며, 이는 컨텍스트 인코더(ConEc)로의 확장에 의해 입증되었다.