[논문 리뷰] Faster way to agony: Discovering hierarchies in directed graphs

Nikolaj Tatti|arXiv (Cornell University)|2019. 02. 04.

Complex Network Analysis Techniques참고 문헌 15인용 수 14

한 줄 요약

이 논문은 방향성 그래프에서 계층적 위반을 측정하는 지표인 애고니( agony )를 계산하기 위한 새로운 $O(m^2)$ 알고리즘을 제시한다. 최대 오일러 부분그래프 기반의 원시-이중 접근 방식을 사용하여, 현재 애고니와 이중 오일러 부분그래프 사이의 격차를 반복적으로 줄이며, 이전의 $O(nm^2)$ bound보다 빠른 성능을 달성하고, 대규모 실세계 네트워크에서 강력한 실용적 확장성을 보여준다.

ABSTRACT

Many real-world phenomena exhibit strong hierarchical structure. Consequently, in many real-world directed social networks vertices do not play equal role. Instead, vertices form a hierarchy such that the edges appear mainly from upper levels to lower levels. Discovering hierarchies from such graphs is a challenging problem that has gained attention. Formally, given a directed graph, we want to partition vertices into levels such that ideally there are only edges from upper levels to lower levels. From computational point of view, the ideal case is when the underlying directed graph is acyclic. In such case, we can partition the vertices into a hierarchy such that there are only edges from upper levels to lower edges. In practice, graphs are rarely acyclic, hence we need to penalize the edges that violate the hierarchy. One practical approach is agony, where each violating edge is penalized based on the severity of the violation. The fastest algorithm for computing agony requires $O(nm^2)$ time. In the paper we present an algorithm for computing agony that has better theoretical bound, namely $O(m^2)$. We also show that in practice the obtained bound is pessimistic and that we can use our algorithm to compute agony for large datasets. Moreover, our algorithm can be used as any-time algorithm.

연구 동기 및 목표

• 방향성 그래프에서 계층적 구조 위반을 측정하는 지표인 애고니를 계산하기 위한 더 빠른 알고리즘을 개발하기 위해.
• 기존의 $O(nm^2)$ 시간 복잡도를 개선하기 위해.
• 대규모 실세계 데이터셋에서 새로운 알고리즘의 실용적 확장성을 입증하기 위해.
• 알고리즘을 근사적 계층 구조 탐색을 위한 any-time 방법으로 사용할 수 있도록 하기 위해.

제안 방법

• 알고리즘은 원시-이중 프레임워크를 사용하며, 원시 문제에서는 애고니를 최소화하고, 이중 문제에서는 오일러 부분그래프의 크기를 최대화한다.
• 각 반복 단계에서, 애고니와 이중 오일러 부분그래프 사이의 이중성 격차를 줄이기 위해 랭크 함수(원시) 또는 오일러 부분그래프(이중)를 수정한다.
• 각 반복은 $O(m)$ 시간에 수행되며, 최대 $m$회의 반복이 필요하므로 전체 시간 복잡도는 $O(m^2)$가 된다.
• 애고니와 최대 오일러 부분그래프 사이의 이중성 관계를 활용하여, 오일러 부분그래프의 크기가 애고니의 하한을 제공함을 이용한다.
• 알고리즘은 현재의 랭크 함수와 현재의 오일러 부분그래프를 유지하며, 이중 제약 조건의 슬랙을 기반으로 이를 갱신한다.
• 이 방법은 근사 품질이 반복마다 보장되는 any-time 알고리즘으로 설계되어 있으며, 현재 오일러 부분그래프의 크기가 최적의 애고니에 대한 유효한 하한을 제공한다.

실험 결과

연구 질문

• RQ1 애고니 계산의 계산 복잡도를 $O(nm^2)$ 이하로 낮출 수 있는가?
• RQ2 오일러 부분그래프 기반의 원시-이중 접근 방식이 방향성 그래프에서 애고니 최소화에 효과적으로 사용될 수 있는가?
• RQ3 이론적 $O(m^2)$ 복잡도가 대규모 네트워크에서 실용적 성능을 반영하는가?
• RQ4 알고리즘이 반복 단계마다 보장된 근사 품질을 갖는 any-time 방법으로 사용될 수 있는가?

주요 결과

• 제안된 알고리즘은 $O(m^2)$ 시간 복잡도를 달성하여 이전의 $O(nm^2)$ bound보다 크게 향상되었다.
• 실제로는 이론적 복잡도가 낙관적으로 평가되며, 500만 개 이상의 간선을 가진 그래프(예: WebGoogle)에 대해서도 3시간 이내에 애고니를 해결할 수 있었다.
• Gnutella 및 WikiVote와 같은 더 작은 그래프의 경우, 알고리즘이 몇 초에서 수 분 내로 작동하며, 기준선 대비 수 개의 지수 차수만큼 뛰어난 성능을 보였다.
• 가장 큰 데이터셋(WebGoogle)에서 첫 8%의 반복 이내에 근사 비율 2를 달성하여 강력한 초기 수렴 성능를 보였다.
• 어느 반복 단계에서든 현재 오일러 부분그래프의 크기가 최적의 애고니에 대한 유효한 하한을 제공하므로, 보장된 하한을 갖는 anytime 근사가 가능하다.