[논문 리뷰] An Attention-based Collaboration Framework for Multi-View Network Representation Learning

Meng Qu, Jian Tang외 4명|arXiv (Cornell University)|2017. 09. 19.

Advanced Graph Neural Networks참고 문헌 30인용 수 27

한 줄 요약

이 논문은 다중 시각 네트워크 표현 학습을 위한 주의 기반 협업 프레임워크를 제안하며, 각 시각의 정보성에 따라 가중치를 동적으로 부여함으로써 노드 표현의 강건성을 향상시킨다. 최소한의 레이블 데이터로 훈련된 주의 메커니즘을 통해 시각별 임베딩을 통합함으로써, 실제 네트워크에서의 노드 분류 및 링크 예측 작업에서 최신 기술 대비 단일 및 다중 시각 접근 방식을 모두 능가한다.

ABSTRACT

Learning distributed node representations in networks has been attracting increasing attention recently due to its effectiveness in a variety of applications. Existing approaches usually study networks with a single type of proximity between nodes, which defines a single view of a network. However, in reality there usually exists multiple types of proximities between nodes, yielding networks with multiple views. This paper studies learning node representations for networks with multiple views, which aims to infer robust node representations across different views. We propose a multi-view representation learning approach, which promotes the collaboration of different views and lets them vote for the robust representations. During the voting process, an attention mechanism is introduced, which enables each node to focus on the most informative views. Experimental results on real-world networks show that the proposed approach outperforms existing state-of-the-art approaches for network representation learning with a single view and other competitive approaches with multiple views.

연구 동기 및 목표

• 기존의 네트워크 표현 학습 방법이 네트워크 근접성의 단일 시각에 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 다양한 시각 간의 협업을 통해 더 강건하고 종합적인 노드 표현을 생성하기 위해.
• 표현 학습 과정에서 시각별 가중치를 자동으로 학습함으로써, 서로 다른 시각이 노드 표현 품질에 다르게 기여한다는 점을 인식하기 위해.
• 주의 메커니즘을 다중 시각 네트워크 학습에 통합하여, 표현 투표 과정에서 노드가 가장 정보성 있는 시각에 집중할 수 있도록 하기 위해.
• 실제 다중 시각 네트워크에서 프레임워크를 평가하고, 노드 분류 및 링크 예측과 같은 후행 작업에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 그래프 기반 임베딩 방법을 사용하여 각 근접성 유형(예: 공동 저자, 인용)에 대해 시각별 노드 표현을 학습한다.
• 이러한 시각별 표현을 투표 기반 메커니즘을 통해 통합하여 통합적이고 강건한 노드 표현을 생성한다.
• 노드별로 동적이고 노드 기반의 시각 가중치를 학습하기 위해 주의 메커니즘을 도입한다. 이는 모델이 더 정보성 있는 시각을 우선시하도록 한다.
• 주의 가중치는 소량의 레이블 데이터를 사용하여 훈련되며, 이로써 모델이 각 노드에 대해 가장 관련성이 높은 시각에 자동으로 집중할 수 있다.
• 백프로파게이션을 통해 엔드 투 엔드로 훈련되며, 시각별 표현 최적화와 주의 기반 투표 메커니즘 최적화를 번갈아 수행한다.
• 이 프레임워크는 임의의 수의 시각을 가진 네트워크에 대해 확장 가능하며, 이질적 네트워크의 메타패스에서 유도된 네트워크에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 네트워크의 여러 시각을 효과적으로 통합하여 단일 시각 방법보다 더 강건한 노드 표현을 얻을 수 있는가?
• RQ2 주의 메커니즘이 시각의 정보성에 따라 가중치를 동적으로 할당함으로써 다중 시각 네트워크 표현 학습을 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 노드 분류 및 링크 예측과 같은 후행 작업에서 기존의 단일 시각 및 다중 시각 네트워크 표현 학습 방법을 능가하는가?
• RQ4 프레임워크는 다중 시각 네트워크에서 시각의 수와 개별 시각의 품질에 대해 얼마나 민감한가?
• RQ5 소량의 레이블 데이터로도 주의 메커니즘이 각 노드에 대해 가장 정보성 있는 시각을 효과적으로 식별하고 우선시할 수 있는가?

주요 결과

• 제안된 방법은 다섯 개인 실제 다중 시각 네트워크에서 다중 레이블 노드 분류 및 링크 예측 작업에서 최신 기술 성능을 달성한다.
• 주의 메커니즘이 정보성 있는 시각에 집중할 수 있도록 해주므로 성능 향상이 뚜렷하며, 동일한 가중치를 부여한 모델보다 성능이 뛰어나다.
• 주의 가중치를 학습하기 위해 필요한 레이블 노드 수가 매우 적어 자료 효율성이 뛰어나다.
• 노이즈가 많거나 흐린 시각에 대해서도 강건한데, 이는 주의 메커니즘이 표현 투표 과정에서 신뢰도가 낮은 시각의 가중치를 낮추기 때문이다.
• 실증 결과는 단일 시각 기반 베이스라인(예: DeepWalk, LINE, node2vec) 및 동일 가중치를 할당하는 다중 시각 방법보다 일관되게 향상된 성능을 보여준다.
• 제거 실험을 통해 주의 메커니즘과 협업 투표가 프레임워크의 뛰어난 성능을 이끌어내는 핵심 요소임을 확인할 수 있었다.