[논문 리뷰] Dropout Training of Matrix Factorization and Autoencoder for Link Prediction in Sparse Graphs

Shuangfei Zhai, Zhongfei Zhang|arXiv (Cornell University)|2015. 12. 14.

Advanced Graph Neural Networks참고 문헌 30인용 수 7

한 줄 요약

이 논문은 희박한 그래프에서 링크 예측을 위해 드롭아웃을 사용해 훈련하는 연합 행렬 분해 및 오토에인코더 모델인 MF+AE를 제안한다. MF와 AE를 공유 파라미터를 통해 통합하고 드롭아웃을 적응형 정규화로 활용함으로써 일반화 능력이 크게 향상되며, 특히 비일관성 있는 그래프에서 기존 방법들을 능가한다. 이는 여섯 개인 실세계 데이터셋에서 검증되었다.

ABSTRACT

Matrix factorization (MF) and Autoencoder (AE) are among the most successful approaches of unsupervised learning. While MF based models have been extensively exploited in the graph modeling and link prediction literature, the AE family has not gained much attention. In this paper we investigate both MF and AE's application to the link prediction problem in sparse graphs. We show the connection between AE and MF from the perspective of multiview learning, and further propose MF+AE: a model training MF and AE jointly with shared parameters. We apply dropout to training both the MF and AE parts, and show that it can significantly prevent overfitting by acting as an adaptive regularization. We conduct experiments on six real world sparse graph datasets, and show that MF+AE consistently outperforms the competing methods, especially on datasets that demonstrate strong non-cohesive structures.

연구 동기 및 목표

• 희박한 그래프에서 링크 예측 시 과적합 문제를 해결하기 위해, 특히 복잡한 비일관성 네트워크 구조를 모델링할 때 도전 과제를 다루기 위해.
• 그래프 표현 학습의 다중시각 학습 맥락에서 행렬 분해(MF)와 오토에인코더(AE) 간의 관계를 탐구하기 위해.
• 표현 학습을 향상시키기 위해 MF와 AE를 공유 파라미터로 공동 훈련하는 통합 모델인 MF+AE를 개발하기 위해.
• 드롭아웃이 MF 및 AE 구성 요소의 훈련 안정성과 일반화 능력 향상에 기여하는 방식으로 암묵적 정규화 기법으로서의 효과를 조사하기 위해.
• 다양한 실세계 희박한 그래프에서 제안된 방법을 평가하고 최신 기준 기반 방법들에 비해 일관된 성능 향상을 입증하기 위해.

제안 방법

• MF와 AE 구성 요소를 공유 가중치 행렬을 사용해 공동으로 훈련하는 모델인 MF+AE를 제안하여, 동일한 데이터의 두 시각에서 상호보완적 학습을 가능하게 한다.
• 훈련 중 MF 및 AE 구성 요소 양쪽에 드롭아웃을 적용하여, 가중치 행렬의 행 또는 열에 대한 스케일링된 ℓ₂ 노름을 암묵적으로 페널티로 작용하는 적응형 정규화로 기능시킨다.
• 이차 테일러 전개를 통해 드롭아웃의 영향을 유도하여, 잠재 요인에 대해 동적 ℓ₂ 페널티를 근사하는 것으로 밝혀졌다.
• 확률적 경사 하강법을 사용해 최적화를 수행함으로써 대규모 희박한 그래프에 대한 확장성을 확보한다.
• MF와 AE의 대칭형 버전에서 가중치를 묶어 파라미터 수를 줄이고 일반화 능력을 향상시킨다.
• 여섯 개인 실세계 희박한 그래프 데이터셋에서 표준 링크 예측 평가 지표(예: AUC, AUPR)를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 행렬 분해와 오토에인코더를 하나의 모델로 통합하여 희박한 그래프에서 링크 예측 성능을 향상시킬 수 있는가?
• RQ2 MF 및 AE 구성 요소 양쪽에 드롭아웃을 적용했을 때 정규화 및 일반화 능력에 미치는 이론적 및 실증적 영향은 무엇인가?
• RQ3 공유 파라미터로 MF와 AE를 공동 훈련하면 개별 모델이나 기존 기준 대비 더 나은 성능을 내는가?
• RQ4 팔로워-팔로잉 관계가 지배하는 비일관성 있는 그래프와 같은 환경에서 모델 성능은 어떻게 되는가?
• RQ5 희박한 그래프에서 흔히 발생하는 저자료 환경에서 드롭아웃 훈련이 MF 및 AE의 과적합을 효과적으로 완화할 수 있는가?

주요 결과

• MF+AE는 여섯 개인 실세계 희박한 그래프 데이터셋 전반에서 MF, AE, MDM 및 그 드롭아웃 정규화 버전을 포함한 모든 경쟁 모델을 뛰어넘는 일관된 성능을 보였다.
• 드롭아웃 훈련은 MF 및 AE 구성 요소에서 과적합을 크게 감소시켰으며, 일반화 능력 향상과 예측 결과에서의 오진/오소 예측 수 감소로 확인되었다.
• 유튜브 및 Gplus와 같은 비일관성 있는 그래프에서는 공통적인 그래프보다 훨씬 더 큰 성능 향상을 기록했으며, 이는 비대칭적이고 비대칭적인 링크 패턴을 더 잘 모델링할 수 있음을 시사한다.
• 예측 결과의 시각화에서 MF+AE의 출력은 전체 그래프에 가장 가까운 시각적 유사도를 보였고, MFd와 AEd는 더 많은 오진 예측을, MDM은 더 많은 오소 예측을 보였다.
• 대칭형 MF는 공통적인 그래프(예: 페이스북, 트위터)에서 더 나은 성능을 보였고, 비대칭형 버전은 비일관성 있는 그래프에서 더 효과적이었으며, 이는 MF+AE에서의 다재다능한 모델링 필요성을 뒷받침한다.
• AE에서 비선형 활성화 함수를 사용함으로써 선형 모델보다 더 높은 모델링 능력을 확보했으며, 이는 복잡한 비일관성 있는 구조를 포괄하는 데 필수적이다.