[논문 리뷰] Permutation Invariant Representations with Applications to Graph Deep Learning

Radu Bălan, Naveed Haghani외 1명|arXiv (Cornell University)|2022. 03. 14.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 그래프 신경망을 위한 두 가지 순열 불변 임bedding을 제안한다: 하나는 노드 특징을 정렬하는 방식이고, 다른 하나는 대칭 다항식을 사용하는 방식이다. 정렬 기반 방법은 낮은 차원의 출력을 가지며 이중 리프시츠 등가성을 달성하고, 거의 모든 분류기의 구현에 최소한의 성능 손실로 가능하게 하며, QM9 및 PROTEINS_FULL 데이터셋에서 노드 순열에 대한 강력한 일반화 성능을 입증한다.

ABSTRACT

This paper presents primarily two Euclidean embeddings of the quotient space generated by matrices that are identified modulo arbitrary row permutations. The original application is in deep learning on graphs where the learning task is invariant to node relabeling. Two embedding schemes are introduced, one based on sorting and the other based on algebras of multivariate polynomials. While both embeddings exhibit a computational complexity exponential in problem size, the sorting based embedding is globally bi-Lipschitz and admits a low dimensional target space. Additionally, an almost everywhere injective scheme can be implemented with minimal redundancy and low computational cost. In turn, this proves that almost any classifier can be implemented with an arbitrary small loss of performance. Numerical experiments are carried out on two data sets, a chemical compound data set (QM9) and a proteins data set (PROTEINS).

연구 동기 및 목표

• 노드 재라벨링에 대해 모델 출력이 불변이 되어야 하는 그래프 딥러닝에서 순열 불변성을 해결하기 위해.
• 행의 순열에 대한 n×d 행렬의 몫공간에서 유클리드 공간으로의 이중 리프시츠 임베딩을 구축하기 위해.
• 순열에 대해 거리 구조를 유지하는 허용 가능한, 낮은 중복성의 그래프 데이터 표현을 만들기 위해.
• 제안된 임베딩을 사용하여 거의 모든 분류기가 극히 작은 성능 손실로 실행될 수 있음을 입증하기 위해.
• 노드 순열 변형에 대한 그래프 분류 및 회귀 작업에서 방법을 실증적으로 평가하기 위해.

제안 방법

• 행렬의 행을 정렬한 후 R^m로 매핑하는 정렬 기반 임베딩을 제안하여 순열 불변성과 이중 리프시츠 연속성을 보장한다.
• 바이에타의 항등식과 뉴턴-지라르 항등식에서 유도된 기본 대칭 다항식을 사용하는 다항식 기반 임베딩을 도입한다.
• 몫공간에서의 거리를 모든 행 순열에 대한 최소 프로베니우스 노름으로 정의한다: d(X,Y) = min_Π ||X - ΠY||.
• α: R^{n×d} → R^m 인 맵을 정의하여, X ∼ Y 이면 α(X) = α(Y)가 되고, 상수 a0, b0에 대해 a0 d(X,Y) ≤ ||α(X) - α(Y)|| ≤ b0 d(X,Y) 를 만족시킨다.
• 기준 비교로 워샤프트-1 거리를 사용하며, 무한차원 출력 공간으로 인해 부적절하다는 것을 보여준다.
• QM9 및 PROTEINS_FULL 데이터셋에서 엔드 투 엔드 학습을 위해 그래프 컬러리피션 네트워크(GCN)와 다층 퍼셉트론을 활용한다.

실험 결과

연구 질문

• RQ1 몫공간 거리에 대해 이중 리프시츠 성질을 가지는 순열 불변 표현을 구성할 수 있는가?
• RQ2 정렬 기반 임베딩이 낮은 차원, 전역적으로 이중 리프시츠 성질을 가지며 최소한의 중복성으로 구현되는가?
• RQ3 제안된 임베딩을 통해 노드 순열 하에서 거의 모든 분류기를 극히 작은 성능 손실로 실행할 수 있는가?
• RQ4 정규화된 방법들인 아이덴티티 매핑과 데이터 증강 기법과 비교해 볼 때, 임베딩의 성능은 어떻게 되는가?
• RQ5 실제 세계의 데이터셋인 QM9 및 PROTEINS_FULL에서 그래프 분류 및 회귀 작업에 대해 임베딩이 잘 일반화되는가?

주요 결과

• 정렬 기반 임베딩은 전역적으로 이중 리프시츠 성질을 가지며 낮은 차원의 타겟 공간을 허용하여 순열 불변 데이터의 안정적이고 충실한 표현이 가능하다.
• 이 방법은 극히 낮은 중복성과 낮은 계산 비용으로 거의 곳 곳에서 단사성을 확보하며, 어떤 분류기라도 극히 작은 손실로 근사할 수 있음을 증명한다.
• QM9 데이터셋에서, 정렬 방법은 d=100일 때 학습 세트에서 MAE 0.155 eV, 보류 세트에서 0.187 eV를 기록했으며, 순열이 적용된 상황에서도 아이덴티티 매핑보다 뛰어난 성능을 보였다.
• PROTEINS_FULL 데이터셋에서, 정렬 기반 방법은 순열이 적용된 보류 세트에서 AUC 0.821, 0.820, 0.818을 기록했으며, 아이덴티티 매핑 및 데이터 증강 방법보다 뛰어난 성능을 보였다.
• 커널 방법은 d=1일 때 충분한 학습이 이루어지지 않았고, 아이덴티티 매핑은 순열이 적용된 보류 세트에서 성능이著격히 떨어져 일반화 성능이 열악함을 보였다.
• 데이터 증강은 여러 순열에 대해 명시적으로 학습함으로써 모든 설정에서 뛰어난 성능을 유지했으며, 이는 순열 불변성에 대한 인덕티브 바이어스의 중요성을 강조한다.