[논문 리뷰] DIMSpan - Transactional Frequent Subgraph Mining with Distributed In-Memory Dataflow Systems

André Petermann, Martin Junghanns외 1명|arXiv (Cornell University)|2017. 03. 06.

Data Mining Algorithms and Applications참고 문헌 29인용 수 5

한 줄 요약

DIMSpan은 Apache Spark 및 Flink용으로 구축된 분산형 메모리 기반 빈도 서브그래프 탐사 프레임워크로, 지식 그래프 또는 소셜 네트워크와 같은 대규모 방향성 다중그래프에서 고성능으로 빈도 서브그래프를 탐지할 수 있도록 고도의 잘라내기, 압축 및 최적화 기법을 활용한다. 이는 네트워크 트래픽을 줄이고 런타임 및 자원 효율성 면에서 MapReduce 기반 접근 방식을 능가하는 높은 확장성과 효율성을 달성한다.

ABSTRACT

Transactional frequent subgraph mining identifies frequent subgraphs in a collection of graphs. This research problem has wide applicability and increasingly requires higher scalability over single machine solutions to address the needs of Big Data use cases. We introduce DIMSpan, an advanced approach to frequent subgraph mining that utilizes the features provided by distributed in-memory dataflow systems such as Apache Spark or Apache Flink. It determines the complete set of frequent subgraphs from arbitrary string-labeled directed multigraphs as they occur in social, business and knowledge networks. DIMSpan is optimized to runtime and minimal network traffic but memory-aware. An extensive performance evaluation on large graph collections shows the scalability of DIMSpan and the effectiveness of its pruning and optimization techniques.

연구 동기 및 목표

• 대규모이고 복잡한 그래프 컬렉션을 포함하는 빅데이터 워크로드에서 단일 머신 기반 빈도 서브그래프 탐사(FSM)의 확장성 한계를 해결하기 위해.
• 모든 간선 방향성과 다중성에 의미가 있는 지식 그래프, 소셜 네트워크, 비즈니스 프로세스 로그와 같은 방향성 다중그래프에서 빈도 서브그래프 탐사를 지원하기 위해.
• 기존의 MapReduce 기반 FSM 접근 방식에 비해 성능을 향상시키기 위해 분산 메모리 데이터플로우 시스템(Spark, Flink 등)을 활용하여 디스크 I/O와 네트워크 샤프링을 최소화하기 위해.
• gSpan에 영감을 받은 메모리 인식 데이터 구조, 패턴 압축, 잘라내기 기법을 통해 탐사 과정을 최적화하면서도 정확성과 완전성을 유지하기 위해.
• 실제 및 합성 데이터셋에서의 확장성과 효율성을 입증하여 기존 접근 방식에 비해 뚜렷한 성능 향상을 보여주기 위해.

제안 방법

• gSpan 알고리즘의 잘라내기 메커니즘(예: 최소 DFS 코드, 분지 제약 조건)을 분산 메모리 데이터플로우 모델에 적응시켜 효율적인 탐색 공간 축소를 가능하게 한다.
• 서브그래프 발생 횟수를 추적하기 위해 패턴 임bedding 맵(μ)을 사용하고, 반복적 패턴 성장을 이끌기 위해 패턴 빈도(ϕ)의 k-edge 변형을 활용한다.
• 다중 수준의 압축 기법을 적용: 패턴 압축(1,2), 임베딩 압축(3), 그래프 압축(4)을 통해 메모리 사용량과 네트워크 전송 오버헤드를 감소시킨다.
• 가짜 양성 결과를 최소화하기 위해 카운팅 후 검증 단계를 도입하여, 전체 검증을 나중 단계로 연기함으로써 비용이 많이 드는 이소모피즘 검사를 줄인다.
• 사전 처리 단계를 통해 빈도가 낮은 간선 레이블을 필터링하고 분지 잘라내기를 적용하여 파ip라인 초기 단계에서 후보 패턴 수를 줄인다.
• Flink의 메모리 기반 계산 모델을 활용하여 디스크 I/O를 최소화하고, 최적화된 정수 배열 표현 방식을 통한 효율적 직렬화를 통해 반복 처리를 지원한다.

실험 결과

연구 질문

• RQ1 분산 메모리 기반 데이터플로우 시스템은 대규모이고 복잡한 그래프 컬렉션에 대해 단일 머신의 한계를 초월해 빈도 서브그래프 탐사를 효과적으로 확장할 수 있는가?
• RQ2 gSpan 스타일의 잘라내기 및 압축 기법을 통합한 DIMSpan의 실용적 성능은 MapReduce 기반 FSM 프레임워크와 비교해 어떻게 되는가?
• RQ3 데이터 압축과 최적화된 데이터 구조는 분산 FSM 환경에서 네트워크 트래픽과 메모리 사용량을 얼마나 줄이는가?
• RQ4 이소모피즘 검증을 필터링 이전 또는 이후에 놓을 경우 전체 런타임과 정확성에 어떤 영향을 미치는가?
• RQ5 적응형 파artitioning과 사전 처리의 영향은 대규모 그래프 탐사에서 로드 밸런싱과 성능에 어떤 영향을 미치는가?

주요 결과

• DIMSpan은 클러스터 크기가 증가함에 따라 부분선형이지만 의미 있는 속도 향상을 달성하여 합성 및 실제 분자 데이터셋 모두에서 강력한 확장성을 입증한다.
• 합성 데이터셋의 경우 런타임은 입력 크기와 거의 선형적으로 증가하지만, 분자 데이터셋의 경우 저지원 임계값(예: 3% 대비 5%)에서 결과 크기의 지수적 증가로 인해 런타임이 비선형적으로 증가한다.
• 패턴 압축(1,2)이 가장 효과적인 최적화로, 압축 오버헤드가 약간 있음에도 불구하고 빠른 카운팅과 데이터 전송 감소로 인해 런타임을 크게 줄인다.
• 카운팅 후 검증 단계는 비용이 많이 드는 이소모피즘 검사 수를 줄이고 확장성 향상에 기여하며, 특히 저지원 임계값에서 두드러진다.
• 분지 잘라내기를 비활성화하면 합성 데이터셋에서는 사전 처리 오버헤드 감소로 인해 성능 향상이 이루어지지만, 분자 데이터셋에서는 더 적은 수의 고유한 최소 1-edge DFS 코드로 인해 유리하다.
• 빈도가 낮은 간선 레이블 기반 사전 처리는 고도의 레이블 다양성을 가진 데이터셋에서 성능 향상에 크게 기여하며, 강한 데이터셋 종속적 성과를 보여준다.