[논문 리뷰] Graph Embedding with Shifted Inner Product Similarity and Its Improved Approximation Capability

Akifumi Okuno, Geewook Kim외 1명|arXiv (Cornell University)|2018. 10. 04.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 학습 가능한 편향 항을 도입함으로써 기존의 내적 유사도(IPS)를 확장한 새로운 신경망 기반 그래프 임bedding 방법인 이격된 내적 유사도(SIPS)를 제안한다. SIPS는 이론적으로 양의 정부호(PD) 및 조건부 양의 정부호(CPD) 유사도—예를 들어 코사인, 음의 파오카레, 음의 워샤르스타인 거리 등—를 근사할 수 있으며, 이는 기존 IPS가 PD 커널에 국한되어 있다는 근본적인 제약을 극복한다. 실제 데이터셋을 대상으로 한 실험 결과, SIPS는 기존 방법들보다 뛰어난 근사 정확도와 성능을 보였다.

ABSTRACT

We propose shifted inner-product similarity (SIPS), which is a novel yet very simple extension of the ordinary inner-product similarity (IPS) for neural-network based graph embedding (GE). In contrast to IPS, that is limited to approximating positive-definite (PD) similarities, SIPS goes beyond the limitation by introducing bias terms in IPS; we theoretically prove that SIPS is capable of approximating not only PD but also conditionally PD (CPD) similarities with many examples such as cosine similarity, negative Poincare distance and negative Wasserstein distance. Since SIPS with sufficiently large neural networks learns a variety of similarities, SIPS alleviates the need for configuring the similarity function of GE. Approximation error rate is also evaluated, and experiments on two real-world datasets demonstrate that graph embedding using SIPS indeed outperforms existing methods.

연구 동기 및 목표

• 기존 내적 유사도(IPS)가 양의 정부호(PD) 커널에만 근사할 수 있다는 이론적 제약을 극복하기 위해.
• 코사인, 음의 파오카레, 음의 워샤르스타인 거리 등과 같은 조건부 양의 정부호(CPD) 커널을 포함한 더 넓은 유사도 클래스를 근사할 수 있는 통합 프레임워크를 개발하기 위해.
• 전통적 IPS의 제약을 초월한 신경망 기반 그래프 임베딩 모델의 근사 능력에 대한 이론적 기반을 제공하기 위해.
• SIPS가 실제 그래프 임베딩 작업에서 근사 정확도와 후행 성능을 향상시키는지 경험적으로 검증하기 위해.

제안 방법

• 학습 가능한 편향 항을 도입함으로써 IPS의 일반화로써 이격된 내적 유사도(SIPS)를 제안: $\text{SIPS}(\boldsymbol{x}, \boldsymbol{x}') = \langle \boldsymbol{f}(\boldsymbol{x}), \boldsymbol{f}(\boldsymbol{x}') \rangle + b_1 + b_2 $, 여기서 $\boldsymbol{f}$는 신경망이고 $b_1, b_2$는 학습 가능한 편향이다.
• 이론적으로 SIPS가 임의의 정확도로 어떤 CPD 커널이라도 두 개의 PD 커널 차이로 분해함으로써 근사 가능하다는 것을 증명한다: $g_+(\cdot, \cdot) - g_-(\cdot, \cdot)$, 각각은 신경망을 통한 보편 근사성에 의해 근사 가능하다.
• Kre인 공간에 대해 일반화된 머서의 정리를 적용함으로써, CPD 커널이 두 PD 커널의 차로 표현될 수 있음을 활용하여, 두 개의 별도 신경망을 통해 보편 근사가 가능하다.
• 두 스트림 신경망 아키텍처를 적용하여 유사도 출력을 두 내적의 차로 계산한다: $\text{SIPS} = \langle \boldsymbol{f}_{+}(\boldsymbol{x}), \boldsymbol{f}_{+}(\boldsymbol{x}') \rangle - \langle \boldsymbol{f}_{-}(\boldsymbol{x}), \boldsymbol{f}_{-}(\boldsymbol{x}') \rangle$, 네트워크 공유 또는 별도 적용 가능.
• 신경망의 보편 근사 정리(UAT)를 활용하여 두 성분 $g_+$와 $g_-$가 별도의 신경망에 의해 임의로 잘 근사될 수 있음을 보장한다.
• 실제 데이터셋을 대상으로 근사 오차율과 후행 그래프 임베딩 성능을 측정하여 SIPS의 경험적 평가를 수행하며, IPS 및 기타 최첨단 방법과 비교한다.

실험 결과

연구 질문

• RQ1 신경망 기반 그래프 임베딩 모델은 기존 내적 유사도의 양의 정부호(PD) 커널 제약을 초월해 유사도를 근사할 수 있는가?
• RQ2 수정된 내적 공식을 통해 조건부 양의 정부호(CPD) 커널—예를 들어 코사인 유사도, 음의 파오카레 거리, 음의 워샤르스타인 거리—를 이론적으로 정당화할 수 있는가?
• RQ3 학습 가능한 편향을 가진 이격된 내적 유사도(SIPS)는 표준 IPS의 근사 능력을 얼마나 광범위하게 일반화할 수 있는가?
• RQ4 실제 데이터셋에서 SIPS는 기존 그래프 임베딩 방법들보다 근사 정확도와 후행 성능에서 어떻게 비교되는가?
• RQ5 음의 제퍼리 발산과 같이 CPD가 아닌 커널, 예를 들어 딥 가우시안 임베딩에서 사용되는 경우, SIPS로도 근사 가능한가, 아니면 다른 프레임워크가 필요한가?

주요 결과

• SIPS는 임의의 정확도로 어떤 조건부 양의 정부호(CPD) 커널이라도 두 개의 양의 정부호(PD) 커널 차로 분해함으로써 이론적으로 근사 가능하며, 각각은 신경망을 통한 보편 근사성에 의해 근사 가능하다.
• 논문은 SIPS가 표준 내적 유사도(IPS)가 PD 커널에만 국한되어 있다는 근본적 제약을 학습 가능한 편향 항을 도입함으로써 극복함을 증명한다. 이는 비-PD 유사도의 모델링을 가능하게 한다.
• SIPS는 코사인 유사도, 음의 파오카레 거리, 음의 워샤르스타인 거리와 같은 주요 비-PD 유사도를 성공적으로 근사한다. 이들 유사도는 알려진 CPD이지만 PD가 아니다.
• 두 개의 실제 데이터셋에 대한 경험적 평가 결과, SIPS는 표준 IPS 및 기타 기준 방법들보다 낮은 근사 오차율을 기록하였다.
• SIPS로 학습한 그래프 임베딩는 IPS 및 기타 기존 방법보다 후행 작업에서 더 뛰어난 성능을 보였으며, 이는 향상된 근사 능력과 일반화 능력을 확인한다.
• 이론적 분석 결과, 딥 가우시안 임베딩에서 사용되는 음의 제퍼리 발산은 CPD가 아니며, 이는 SIPS가 이러한 커널을 근사할 수 없음을 시사한다. 따라서 향후 연구를 위해 더 일반적인 프레임워크인 IPDS가 필요하다.