[논문 리뷰] Adversarial Network Embedding

Quanyu Dai, Qiang Li외 2명|arXiv (Cornell University)|2017. 11. 21.

Advanced Graph Neural Networks참고 문헌 30인용 수 68

한 줄 요약

이 논문은 Adversarial Network Embedding (ANE)라는 프레임워크를 소개합니다. 이는 structure-preserving inductive DeepWalk variant와 adversarial learning component를 결합하여 네트워크의 노드 임베딩을 정규화하고 강건하게 생성합니다.

ABSTRACT

Learning low-dimensional representations of networks has proved effective in a variety of tasks such as node classification, link prediction and network visualization. Existing methods can effectively encode different structural properties into the representations, such as neighborhood connectivity patterns, global structural role similarities and other high-order proximities. However, except for objectives to capture network structural properties, most of them suffer from lack of additional constraints for enhancing the robustness of representations. In this paper, we aim to exploit the strengths of generative adversarial networks in capturing latent features, and investigate its contribution in learning stable and robust graph representations. Specifically, we propose an Adversarial Network Embedding (ANE) framework, which leverages the adversarial learning principle to regularize the representation learning. It consists of two components, i.e., a structure preserving component and an adversarial learning component. The former component aims to capture network structural properties, while the latter contributes to learning robust representations by matching the posterior distribution of the latent representations to given priors. As shown by the empirical results, our method is competitive with or superior to state-of-the-art approaches on benchmark network embedding tasks.

연구 동기 및 목표

• 잡음과 불확실성 하에서 강건한 저차원 네트워크 표현을 동기화한다.
• 임베딩에 대한 사 prior를 강제하는 adversarial regularizer를 개발하는 동시에 네트워크 구조를 보존한다.
• 신경망 학습이 가능하도록 파라미터화된 구조 보존 구성요소를 제안한다.
• 대형 벤치마크 데이터셋에서 강력한 베이스라인 대비 강건성 및 식별력 향상을 보여준다.

제안 방법

• ANE를 두 구성요소로 제안한다: 구조 보존 모듈과 adversarial 학습 모듈.
• 구조 보존 모델로서 inductive variant of DeepWalk (IDW)를 사용하며, 파라미터화된 제너레이터 G(x;θ1)가 노드 임베딩을 생성하고 컨텍스트 임베딩을 생성하는 컨텍스트 제너레이터 F(x;θ1')를 둔다.
• 생성기에 입력 특징으로 사용할 고차 인 proximities를 포착하는 시프트된 양의 포인트-와이즈 상호정보량(PPMI) 행렬 X로 그래프를 전처리한다.
• adversarial 구성에서 구조 보존 부분과 공유되는 제너레이터 G(·;θ1)와 판별기 D(·;θ2)를 사용한다; prior p(z)가 임베딩에 분포를 부여하고 제너레이터는 샘플을 이 prior로 매핑하도록 한다.
• 임베딩 벡터가 prior 분포의 샘플을 닮도록 하여 판별기를 속이도록 하는 목표 O_D(판별기)와 O_G(제너레이터)를 갖는 미니맥스 게임으로 adversarial 학습을 프레이밍한다.
• 두 가지 인스턴스화 실험: AIDW (IDW + adversarial regularization)와 ADAE (denoising 구조를 갖춘 adversarial autoencoder).
• 두 단계로 학습한다: IDW 기반 목표의 구조 보존 최적화 단계와 판별기가 임베딩과 prior 샘플을 구분하는 adversarial 단계에서 제너레이터가 판별기를 속이도록 적응한다.

실험 결과

연구 질문

• RQ1 대 adversarial regularization이 표준 구조 보존 방법을 넘어서 네트워크 임베딩의 질과 강건성을 향상시키는가?
• RQ2 파라미터화된 inductive 구조 보존 모듈과 adversarial prior regularization이 노드 분류 및 시각화 작업에서 강한 베이스라인을 능가하는가?
• RQ3 다른 priors(균등 vs 가우시안)와 모델 선택(AIDW vs ADAE)이 강건성과 성능에 어떤 영향을 미치는가?
• RQ4 다중 데이터셋에서 다클래스 노드 분류와 같은 다운스트림 작업에 대해 학습된 임베딩이 더 구분되고 분리 가능한가?

주요 결과

• AIDW는 Cora, Citeseer, Wiki에서 라벨 데이터 비율에 따라 일관되게 베이스라인 방법(예: DeepWalk, LINE, GraRep, node2vec)을 능가한다.
• ADAE는 잡음 제거 오토인코더 백본 대비 미미한 이득을 제공하며, 여러 데이터셋에서 강건성 이점이 나타나지만 ADW 기반 변형에서 이득이 더 두드러진다.
• Adversarial 정규화는 시각화 분리성을 향상시켜, baselines에 비해 t-SNE 플롯에서 더 명확하게 군집화되고 선형적으로 구분 가능한 커뮤니티를 생성한다.
• AIDW 모델이 세 벤치마크 데이터셋에서 대부분의 학습 비율 하에서 최상의 분류 정확도를 달성하며 node2vec를 포함한 베이스라인을 능가한다.
• 파라미터 민감도 분석은 산책 길이와 컨텍스트 크기에 대한 강건성을 보이고, 차원 수가 128 차원 근처에서 성능 향상에 기여하는 포화점까지 기여한다.