[논문 리뷰] Mining Association Rules in Various Computing Environments: A Survey

Sudhakar Singh, Pankaj Singh외 2명|arXiv (Cornell University)|2019. 06. 30.

Data Mining Algorithms and Applications참고 문헌 68인용 수 5

한 줄 요약

이 종합 검토는 순차적, 병렬/분산, 격자, 클라우드 컴퓨팅의 네 가지 컴퓨팅 환경에서 연관 규칙 추출(ARM) 알고리즘을 체계적으로 검토하며, 효율성과 확장성 향상의 진화적 발전을 강조한다. 기존 순차적 방법에서 현대의 병렬 및 클라우드 기반 구현으로의 ARM 기법의 발전을 추적하며, 데이터 양과 계산 요구 사항에 따라 유도된 성능 향상과 아키텍처 적응을 강조한다.

ABSTRACT

Association Rule Mining (ARM) is one of the well know and most researched technique of data mining. There are so many ARM algorithms have been designed that their counting is a large number. In this paper we have surveyed the various ARM algorithms in four computing environments. The considered computing environments are sequential computing, parallel and distributed computing, grid computing and cloud computing. With the emergence of new computing paradigm, ARM algorithms have been designed by many researchers to improve the efficiency by utilizing the new paradigm. This paper represents the journey of ARM algorithms started from sequential algorithms, and through parallel and distributed, and grid based algorithms to the current state-of-the-art, along with the motives for adopting new machinery.

연구 동기 및 목표

• 다양한 컴퓨팅 환경에서 연관 규칙 추출(ARM) 알고리즘에 대한 종합적인 검토를 제공하기 위해.
• 기존 순차적 컴퓨팅 패러다임에서 클라우드 기반 컴퓨팅 패러다임으로의 ARM 기법의 진화를 분석하기 위해.
• ARM에 새로운 컴퓨팅 아키텍처를 채택하는 데 동기를 부여하는 요인들(예: 확장성 및 성능)을 특정하기 위해.
• 다양한 분산 및 병렬 환경에서 ARM 알고리즘의 효율성과 적용 가능성 비교하기 위해.
• 현대 대규모 데이터 처리 시스템에 ARM을 구현하는 데 있어 현재의 추세와 과제를 부각하기 위해.

제안 방법

• 순차적, 병렬/분산, 격자, 클라우드 컴퓨팅 등의 계산 환경에 기반해 기존 ARM 알고리즘을 조사하고 분류하기 위해.
• 각 환경에서 ARM 알고리즘의 설계 원칙과 성능 특성 분석하기 위해.
• 분산 및 클라우드 기반 ARM 시스템에서의 알고리즘 최적화(예: 데이터 분할, 부하 균형 조절, 장애 내성) 평가하기 위해.
• 단일 머신에서 확장성 있고, 장애 내성 있고, 탄력적인 컴퓨팅 인fra로의 전환 과정 매핑하기 위해.
• 병렬 및 분산 ARM 구현에서 사용된 주요 아키텍처 패턴과 통신 모델 식별하기 위해.
• 하드웨어 및 소프트웨어 발전이 ARM 알고리즘 개발과 구현에 어떤 영향을 미쳤는지 통합적 통찰 제공하기 위해.

실험 결과

연구 질문

• RQ1 연관 규칙 추출 알고리즘은 순차적 환경에서 클라우드 기반 컴퓨팅 환경으로 어떻게 진화해 왔는가?
• RQ2 기존 순차적 ARM에서의 주요 성능 저하 요인은 무엇이며, 현대의 병렬 및 분산 모델은 이를 어떻게 해결하는가?
• RQ3 격자 및 클라우드 컴퓨팅 환경에서 효율적이고 확장 가능한 ARM을 가능하게 하는 아키텍처적 특징은 무엇인가?
• RQ4 부하 균형 조절, 장애 내성, 데이터 분할이 분산 ARM 알고리즘의 효율성에 어떤 영향을 미치는가?
• RQ5 다양한 컴퓨팅 플랫폼에서 복잡성, 확장성, 정확성 간의 상충 관계는 무엇인가?

주요 결과

• ARM 알고리즘은 빅데이터 워크로드를 처리하기 위해 순차 처리에서 고도로 확장성 있고, 분산형이며, 클라우드 네이티브 구현으로 크게 진화하였다.
• 병렬 및 분산 컴퓨팅 모델은 여러 프로세서와 클러스터를 활용해 실행 시간을 단축하고 확장성을 향상시킨다.
• 격자 및 클라우드 기반 ARM 프레임워크는 동적 자원 할당과 장애 내성을 가능하게 하여 신뢰성과 성능을 향상시킨다.
• ARM을 클라우드 플랫폼과 통합하면 탄력적인 확장과 대규모 거래 데이터베이스의 비용 효율적인 처리가 가능하다.
• 현대 ARM 시스템의 성능 향상은 주로 효율적인 데이터 분할, 부하 균형 조절, 최적화된 통신 프rotocol 덕분이다.
• 다양한 발전에도 불구하고, 분산 및 클라우드 환경에서 높은 정확도를 유지하고 I/O 오버헤드를 최소화하는 데 도전 과제가 남아 있다.