[논문 리뷰] Min-plus algebraic low rank matrix approximation: a new method for revealing structure in networks

James Hook|arXiv (Cornell University)|2017. 08. 22.

Tensor decomposition and applications인용 수 4

한 줄 요약

이 논문은 최소-합 행렬 분해(min-plus low-rank matrix approximation)를 소개한다. 이는 최소-합 대수(min-plus algebra)를 사용하는 새로운 방법으로, 여기서 최소값이 덧셈으로, 덧셈이 곱셈으로 대체된다. 이 방법은 네트워크의 최단거리 거리 모델링을 통해 구조적 패턴을 드러낸다. 기존의 PCA나 SVD와 달리, 비선형적이고 경로 기반의 네트워크 구조를 탐지할 수 있으며, 이는 거리 행렬의 분해를 통해 돌고래 무리의 사회적 조직을 성공적으로 포착한 것으로 입증되었다.

ABSTRACT

In this paper we introduce min-plus low rank matrix approximation. By using min and plus rather than plus and times as the basic operations in the matrix multiplication; min-plus low rank matrix approximation is able to detect characteristically different structures than classical low rank approximation techniques such as Principal Component Analysis (PCA). We also show how min-plus matrix algebra can be interpreted in terms of shortest paths through graphs, and consequently how min-plus low rank matrix approximation is able to find and express the predominant structure of a network.

연구 동기 및 목표

• 최소-합 대수를 기반으로 한 새로운 저랭크 행렬 분해 기법을 개발하여 네트워크의 구조적 패턴을 탐지하는 것.
• 기존의 선형 방법들인 PCA나 SVD가 놓칠 수 있는, 특히 경로 기반 관계에 기반한 네트워크 구조를 탐지할 수 있도록 하는 것.
• 잠재적 주변지역 또는 경유지(latent neighborhoods or waypoints)를 사용해 네트워크 거리 행렬의 해석 가능한 분해를 제공하는 것.
• 실제 네트워크 데이터에서 최소-합 분해가 잘린 SVD와 비음성 행렬 분해(Non-negative Matrix Factorization, NNMF)에 비해 잔차 오차와 해석 가능성 측면에서 어떻게 성능을 발휘하는지 비교하는 것.

제안 방법

• 반체 $(\mathbb{R}_{\min}, \oplus, \otimes)$ 를 사용해 최소-합 행렬 대수를 정의하며, 여기서 $a \oplus b = \min(a,b)$ 이고 $a \otimes b = a + b$ 이다.
• 최소-합 행렬 곱셈을 정의하여 $(A \otimes B)_{ij} = \min_k (a_{ik} + b_{kj})$ 가 되도록 하며, 이는 경로 기반 계산을 가능하게 한다.
• 최소-합 곱의 의미를 해석하기 위해 선행 그래프 $\Gamma(A)$ 를 사용하며, $A^{\otimes \ell}_{ij}$ 는 길이 $\ell$ 의 최단경로를 나타낸다.
• 음의 사이클이 존재하지 않을 경우, 모든 쌍 간 최단경로를 계산하기 위해 Kleene 별 $A^\star = I \oplus A \oplus A^{\otimes 2} \oplus \cdots$ 를 적용한다.
• 거리 행렬 $D$ 의 최소-합 저랭크 분해를 위한 반복 알고리즘(알고리즘 2)을 제안하며, 잔차 $\|D - F \otimes F^T\|_F$ 를 최소화한다.
• 요소 행렬 $F$ 는 잠재적 주변지역으로 해석된다: 작은 $f_{ik}$ 는 노드 $i$ 가 주변지역 $k$ 와 가까이 있음을 나타내며, 이는 구조적 의미 해석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최소-합 저랭크 분해는 기존의 저랭크 방법들인 PCA나 SVD가 포착하지 못하는 네트워크의 구조적 패턴을 탐지할 수 있는가?
• RQ2 잔차 오차와 해석 가능성 측면에서 최소-합 분해는 잘린 SVD와 비음성 행렬 분해(Non-negative Matrix Factorization, NNMF)에 비해 어떻게 비교되는가?
• RQ3 인접행렬 $A$ 가 아닌 거리행렬 $D$ 를 분해함으로써 간접적이고 경로 기반의 네트워크 관계 탐지에 얼마나 기여하는가?
• RQ4 최소-합 분해의 잠재적 요소들이 네트워크 내 주변지역 또는 경유지로 의미 있게 해석될 수 있는가?
• RQ5 실제 사례인 돌고래 사회 네트워크와 같이 최소-합 접근법이 실제 네트워크 구조의 더 정확하거나 의미 있는 표현을 드러내는가?

주요 결과

• 최소-합 저랭크 분해는 최단거리 거리 행렬 $D$ 를 분해함으로써 돌고래 사회 네트워크의 주요 구조를 성공적으로 포착하였다.
• 매우 낮은 랭크와 매우 높은 랭크일 경우, 최소-합 분해의 잔차 오차는 잘린 SVD와 유사하지만, 최소-합 방법은 요소의 해석 가능성에서 뛰어난 성능을 보였다.
• 요소 행렬 $F$ 의 열은 잠재적 주변지역을 나타낸다: 같은 주변지역에 가까운 돌고래들은 네트워크 상에서도 가까이 있을 가능성이 높으며, 이는 공통 주변지역에 대한 가까움을 기반으로 한 클러스터링을 가능하게 한다.
• 이 방법은 거리 행렬을 대상으로 하므로, NNMF가 인접행렬에서 작동하고 간접 연결을 忽略하는 것과 달리, 비선형적이고 경로 기반의 네트워크 구조를 드러낸다.
• 분해 결과는 $\mathbb{R}^3$ 상에서 돌고래 위치의 명확한 공간 분포를 보이며, 실제 네트워크 구조와 뚜렷하게 일치하여, 이 방법이 위상적 관계를 유지하는 데 성공했음을 확인한다.
• 이 방법은 초기화에 대해 강건하며, 100번의 실행 중 잔차 오차가 가장 작은 것을 선택하는 알고리즘을 통해 최적의 분해를 도출함으로써 실용적 타당성을 입증하였다.