[논문 리뷰] A large-scale and fault-tolerant approach of subgraph mining using density-based partitioning

Sabeur Aridhi, Laurent d’Orazio외 2명|arXiv (Cornell University)|2012. 11. 30.

Advanced Database Systems and Queries참고 문헌 1인용 수 24

한 줄 요약

이 논문은 클러스터의 계산 부하를 균형 있게 분배하기 위해 MapReduce 프레임워크 내에서 밀도 기반 분할을 사용하는 대규모이고 장애 내성 있는 서브그래프 마이닝 방법을 제안한다. 이 방법은 실행 시간을 크게 단축시키며, 대규모 그래프 데이터베이스에서의 확장 가능한 빈도 높은 서브그래프 탐색을 가능하게 한다.

ABSTRACT

Recently, graph mining approaches have become very popular, especially in domains such as bioinformatics, chemoinformatics and social networks. In this scope, one of the most challenging tasks is frequent subgraph discovery. This task has been motivated by the tremendously increasing size of existing graph databases. Since then, an important problem of designing efficient and scaling approaches for frequent subgraph discovery in large clusters, has taken place. However, failures are a norm rather than being an exception in large clusters. In this context, the MapReduce framework was designed so that node failures are automatically handled by the framework. In this paper, we propose a large-scale and fault-tolerant approach of subgraph mining by means of a density-based partitioning technique, using MapReduce. Our partitioning aims to balance computation load on a collection of machines. We experimentally show that our approach decreases significantly the execution time and scales the subgraph discovery process to large graph databases.

연구 동기 및 목표

• 점점 커지는 그래프 데이터베이스에서 빈도 높은 서브그래프 탐색의 과제를 해결하기 위해.
• 분산 환경에서 기존의 서브그래프 마이닝 접근 방식의 확장성 한계를 극복하기 위해.
• 노드 장애가 흔한 대규모 클러스터에서의 장애 내성 보장을 위해.
• 기계 간 계산 작업 부하를 균형 있게 분배하여 실행 효율을 향상시키기 위해.
• 장애 내성적인 MapReduce 프레임워크를 사용하여 효율적이고 확장 가능한 서브그래프 마이닝을 가능하게 하기 위해.

제안 방법

• 대규모 그래프 데이터베이스를 균형 잡힌 서브그래프로 나누기 위해 밀도 기반 분할을 적용하여 분산 처리를 위해 준비한다.
• 노드 장애를 자동으로 처리함으로써 장애 내성을 보장하는 MapReduce 프레임워크를 활용한다.
• 클러스터 노드 간의 부하 불균형을 최소화하기 위해 분할 전략을 설계한다.
• 서브그래프를 워커 노드에 매핑하여 빈도 높은 패턴의 병렬 마이닝을 수행한다.
• 밀도가 높은 그래프 영역을 하나의 파artition으로 묶어 통신 오버헤드를 줄인다.
• MapReduce의 내재된 장애 복구 메커니즘을 활용하여 계산 중 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 대규모 클러스터에서 장애 내성을 유지하면서 서브그래프 마이닝을 어떻게 효율적으로 확장할 수 있는가?
• RQ2 밀도 기반 분할이 분산 서브그래프 마이닝에서 부하 균형에 얼마나 기여하는가?
• RQ3 제안된 방법이 기존 방법과 비교해 실행 시간을 크게 단축시킬 수 있는가?
• RQ4 그래프 데이터베이스 크기가 증가함에 따라 이 방법의 확장성은 어떻게 되는가?
• RQ5 대규모 클러스터에서 서브그래프 마이닝의 신뢰성과 성능에 장애 내성 기능이 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 대규모 그래프 데이터베이스에서의 서브그래프 마이닝 실행 시간을 크게 감소시킨다.
• 밀도 기반 분할은 클러스터 기계 간 계산 부하를 효과적으로 균형 잡는다.
• MapReduce 프레임워크를 통해 장애 내성이 천연적으로 지원되어 노드 장애 발생 시에도 강력한 내구성을 확보한다.
• 최적화된 분할과 분산 처리 덕분에 이 방법은 대규모 그래프 데이터베이스로의 효율적 확장이 가능하다.
• 밀도 기반 분할과 MapReduce의 통합은 서브그래프 마이닝의 성능과 신뢰성을 모두 향상시킨다.