[논문 리뷰] I/O efficient bisimulation partitioning on very large directed acyclic graphs

Jelle Hellings, George Fletcher외 1명|TU/e Research Portal (Eindhoven University of Technology)|2011. 12. 05.

Semantic Web and Ontologies참고 문헌 22인용 수 14

한 줄 요약

이 논문은 매우 큰 방향성 비순환 그래프(DAG)에서 이분화 분할을 계산하기 위한 최초의 I/O 효율적인 외부 메모리 알고리즘을 제시한다. 이 알고리즘은 최악의 경우 I/O 복잡도 O(Sort(|N| + |E|))를 달성하며, 전역 재조정, 단계적 처리, 지능적인 디스크 레이아웃 기법을 활용하여 메모리가 제한된 환경에서도 수십억 개의 노드와 간선을 가진 DAG를 효과적으로 처리한다. 실제 XML 워크로드에서 실용적인 성능을 입증하였다.

ABSTRACT

In this paper we introduce the first efficient external-memory algorithm to compute the bisimilarity equivalence classes of a directed acyclic graph (DAG). DAGs are commonly used to model data in a wide variety of practical applications, ranging from XML documents and data provenance models, to web taxonomies and scientific workflows. In the study of efficient reasoning over massive graphs, the notion of node bisimilarity plays a central role. For example, grouping together bisimilar nodes in an XML data set is the first step in many sophisticated approaches to building indexing data structures for efficient XPath query evaluation. To date, however, only internal-memory bisimulation algorithms have been investigated. As the size of real-world DAG data sets often exceeds available main memory, storage in external memory becomes necessary. Hence, there is a practical need for an efficient approach to computing bisimulation in external memory. Our general algorithm has a worst-case IO-complexity of O(Sort(|N| + |E|)), where |N| and |E| are the numbers of nodes and edges, resp., in the data graph and Sort(n) is the number of accesses to external memory needed to sort an input of size n. We also study specializations of this algorithm to common variations of bisimulation for tree-structured XML data sets. We empirically verify efficient performance of the algorithms on graphs and XML documents having billions of nodes and edges, and find that the algorithms can process such graphs efficiently even when very limited internal memory is available. The proposed algorithms are simple enough for practical implementation and use, and open the door for further study of external-memory bisimulation algorithms. To this end, the full open-source C++ implementation has been made freely available.

연구 동기 및 목표

• XML, 데이터 유래 추적, 과학적 워크플로우 등에서 흔한 대규모 DAG에서 이분화 분할을 위한 효율적인 외부 메모리 알고리즘이 부족한 문제를 해결한다.
• 기존 내부 메모리 이분화 알고리즘에서 발생하는 I/O 병목 현상을 해결하기 위해 디스크 기반 접근 방식을 설계하여 비용이 많이 드는 디스크 액세스를 최소화한다.
• 메인 메모리에 들어가지 못할 정도로 큰 그래프에서도 확장 가능한 이분화 계산을 가능하게 하여 실세계 응용 프로그램에서 색인 및 쿼리 최적화를 지원한다.
• 일반 알고리즘의 전용 변형을 개발하여 트리 구조를 가진 XML 데이터에 최적화하여 일반적인 사용 케이스에서의 성능을 향상시킨다.
• 실용적이고 오픈소스 구현을 제공하여 외부 메모리 기반 그래프 알고리즘 분야의 배포와 향후 연구를 지원한다.

제안 방법

• 두 단계로 구성된 외부 메모리 알고리즘 설계: 첫 번째 단계에서 정렬 및 재번호 할당을 통해 그래프를 전역적으로 재조정하여 국소성 향상과 I/O 감소를 달성한다.
• 노드 순위, 레이블, 해시 값 기반의 계층적 분할 전략을 사용하여 문제 크기를 줄이는 初기 거친 분할을 생성한다.
• 지역 이분화 검사와 보조 해시를 활용해 점진적으로 이분형으로 간주되는 노드들을 병합하는 단계적 정밀화 과정을 적용한다.
• 외부 메모리 계산 모델을 활용하며, I/O 복잡도는 디스크 액세스 횟수로 측정된다 (Sort(n) = n개 요소를 정렬하는 데 필요한 I/O 수).
• 랜덤 액세스를 최소화하고 순차 처리를 극대화하기 위해 디스크 상의 그래프 레이아웃 전략을 신규로 도입한다.
• 부모-자식 관계와 레이블 제약 조건 등의 트리 구조적 특성을 활용하여 일반 알고리즘을 XML 데이터에 특화시켜, I/O 및 계산 효율을 추가로 최적화한다.

실험 결과

연구 질문

• RQ1 메인 메모리 용량을 초월하는 매우 큰 DAG에서 이분화 분할을 위한 I/O 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 그러한 알고리즘의 이론적 I/O 복잡도는 무엇이며, O(Sort(|N| + |E|))로 경계될 수 있는가?
• RQ3 특히 메모리 제약 조건 하에서 실세계의 수십억 노드 및 간선을 가진 DAG에서 알고리즘이 실제로 얼마나 잘 작동하는가?
• RQ4 트리 구조를 가진 XML 데이터에 특화된 알고리즘 변형을 개발하여 일반 사례 대비 성능을 향상시킬 수 있는가?
• RQ5 알고리즘 성능은 메모리 크기, 입력 구조, 또는 초기 분할 품질에 얼마나 의존하는가?

주요 결과

• 제안된 알고리즘은 이론적으로 외부 메모리 계산에 적합한 최적의 최악의 경우 I/O 복잡도 O(Sort(|N| + |E|))를 달성한다.
• 알고리즘은 최대 10^9개의 노드와 55.8 GB의 XML 데이터를 가진 그래프까지 처리할 수 있으며, 표준 랩탑과 일반 하드디스크 환경에서 104분 내로 처리된다.
• 노드 순위, 레이블, 해시 기반의 더 나은 초기 분할이 이루어질수록 성능 향상이著명하며, 이는 보조 해시 충돌 감소와 더 효과적인 분할 블록 처리를 유도한다.
• 첫 번째 단계인 그래프 정렬 및 재번호 할당이 런타임을 지배하며, 이 단계는 그래프 구조와 무관하므로 다양한 DAG에서 일관된 성능을 보인다.
• 사용 가능한 메모리가 증가할수록 성능 향상이 이루어지지만, 일정 수준 이상에서는 이득의 감소가 뚜렷하여, 제한된 메인 메모리 조건에서도 알고리즘이 강건함을 시사한다.
• XML 데이터 전용 변형 알고리즘이 일반 알고리즘을 능가하며, 도메인 특화 최적화가 I/O 효율성과 속도 향상에 실질적인 기여를 한다는 점을 입증한다.