[논문 리뷰] Improving Textual Network Embedding with Global Attention via Optimal Transport

Li‐Qun Chen, Guoyin Wang외 7명|arXiv (Cornell University)|2019. 06. 05.

Advanced Graph Neural Networks참고 문헌 51인용 수 6

한 줄 요약

이 논문은 텍스트 네트워크에서 희박하고 자기정규화되며 전역적으로 인지하는 텍스트 매칭을 위해 최적 운반 이론을 활용하는 GANE라는 글로벌 어텐션 네트워크 임베딩 모델을 제안한다. 최적 운반 기반 어テン션과 고수준 파싱 기반 메커니즘을 통합함으로써 GANE는 장거리 의존성 모델링을 향상시키고, 여러 데이터셋에서 링크 예측 및 다중 레이블 노드 분류 과제에서 최신 기법들을 능가한다.

ABSTRACT

Constituting highly informative network embeddings is an important tool for network analysis. It encodes network topology, along with other useful side information, into low-dimensional node-based feature representations that can be exploited by statistical modeling. This work focuses on learning context-aware network embeddings augmented with text data. We reformulate the network-embedding problem, and present two novel strategies to improve over traditional attention mechanisms: ($i$) a content-aware sparse attention module based on optimal transport, and ($ii$) a high-level attention parsing module. Our approach yields naturally sparse and self-normalized relational inference. It can capture long-term interactions between sequences, thus addressing the challenges faced by existing textual network embedding schemes. Extensive experiments are conducted to demonstrate our model can consistently outperform alternative state-of-the-art methods.

연구 동기 및 목표

• 기존의 맥락 인식 네트워크 임베딩 방법의 한계, 특히 밀도 높은 어텐션 행렬과 전역적 시퀀스 수준의 모델링 부족을 해결하기 위해.
• 최적 운반 기반의 원칙적인 어텐션 메커니즘을 도입하여 텍스트 네트워크 임베딩에서 관계 추론과 노이즈 억제를 향상시키기 위해.
• 고수준 어텐션 파싱 모듈을 통해 텍스트 시퀀스 간 장기적 상호작용 모델링을 가능하게 하기 위해.
• 기존의 네트워크 임베딩 공식화를 일반화하고 명확화하는 복합 프레임워크를 재생 핵 힐버트 공간 내에서 개발하기 위해.

제안 방법

• 기존 접근법을 일반화하고 통합하기 위해 재생 핵 힐버트 공간(RKHS) 내에서 네트워크 임베딩의 새로운 공식화를 제안한다.
• 텍스트 시퀀스 간 희박하고 자기정규화된 어텐션 행렬을 계산하기 위해 최적 운반 기반의 콘텐츠 인식 희박 어텐션 모듈을 도입한다.
• 저수준 어텐션 출력을 바탕으로 장거리 의존성을 모델링하고 관계 추론을 가능하게 하기 위해 고수준 어텐션 파싱 메커니즘을 활용한다.
• 어텐션 행렬을 처리하고 n-그램 수준의 상호작용을 포착하기 위해 가중치 학습이 가능한 컨볼루션 레이어를 적용한다.
• t-SNE 시각화와 어텐션 행렬 비교를 통해 학습된 어텐션의 희박성과 의미 있는 성질을 정성적으로 검증한다.
• 노드 임베딩과 텍스트 표현을 통합된 목표 함수를 통해 동시에 최적화함으로써 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 최적 운반 기반 어텐션은 기존의 유사도 기반 방법에 비해 텍스트 네트워크 임베딩에서 더 희박하고 더 정보적인 어텐션 행렬을 생성할 수 있는가?
• RQ2 고수준 어텐션 파싱 메커니즘은 네트워크 임베딩에서 텍스트 시퀀스 간 장거리 상호작용 모델링을 향상시키는가?
• RQ3 제안된 글로벌 어텐션 메커니즘은 국소적이고 쌍방향 어텐션과 비교해 맥락 인식 노드 표현을 얼마나 잘 포착하는가?
• RQ4 최적 운반과 어텐션 파싱의 통합은 링크 예측 및 노드 분류와 같은 후행 과제에서 성능을 얼마나 향상시키는가?
• RQ5 저자료 환경에서 모델은 얼마나 강인한가? 더 많은 훈련 샘플이 주어지면 성능이 향상되는가?

주요 결과

• GANE-AP는 70%의 훈련 레이블을 사용할 때 Cora 데이터셋에서 다중 레이블 노드 분류 과제에서 최고의 매크로-F1 스코어 88.5%를 기록했으며, WANE(88.1%)와 DMTE(87.9%)를 모두 앞섰다.
• 링크 예측 과제에서 GANE-OT와 GANE-AP는 항상 모든 베이스라인을 앞서며, 특히 훈련 샘플 수가 적은 환경에서 성능 격차가 더욱 커졌다.
• 최적 운반 기반 어텐션 메커니즘은 도트곱 어텐션(예: WANE)이 생성하는 밀도 높은 행렬과는 대조적으로 자연스럽게 희박한 어텐션 행렬을 생성했으며, 이는 노이즈 억제 성능 향상을 시사한다.
• t-SNE 시각화 결과, GANE-OT 임베딩은 레이블 정보를 사용하지 않고도 레이블 기반으로 잘 군집되어 있음을 보여, 효과적인 표현 학습이 이루어졌음을 시사한다.
• 절단 실험 결과, n-그램 길이가 약 20일 때 링크 예측에서 최고의 AUC 성능을 기록했으며, 이는 중간 수준의 어텐션 스파이크가 최적임을 시사한다.
• 어텐션 파싱 메커니즘(GANE-AP)은 기본 OT 어텐션 모델(GANE-OT)보다 성능을 추가로 향상시켰으며, 이는 관계 추론과 맥락화에 있어 그 가치를 확인시킨다.