[논문 리뷰] Survey on Distributed Data Mining in P2P Networks

Rekha Sunny T, Sabu M. Thampi|arXiv (Cornell University)|2012. 05. 15.

Data Stream Mining Techniques참고 문헌 32인용 수 5

한 줄 요약

이 종합 검토는 피어 투 피어(P2P) 네트워크에서 분산 데이터 마이닝(DDM)에 대한 포괄적인 개요를 제시한다. 중앙집중식 데이터 마이닝의 한계인 데이터 양, 대역폭 제약, 프라이버시 문제를 해결하기 위해 마련되었다. 분산 데이터 마이닝 아키텍처, 접근 방식, P2P 특화 구현 및 확장성, 부하 균형, 데이터 이질성 등의 주요 과제를 검토하며, 탈중앙화된 데이터 마이닝 시스템 연구자들에게 기초 자료를 제공한다.

ABSTRACT

The exponential increase of availability of digital data and the necessity to process it in business and scientific fields has literally forced upon us the need to analyze and mine useful knowledge from it. Traditionally data mining has used a data warehousing model of gathering all data into a central site, and then running an algorithm upon that data. Such a centralized approach is fundamentally inappropriate due to many reasons like huge amount of data, infeasibility to centralize data stored at multiple sites, bandwidth limitation and privacy concerns. To solve these problems, Distributed Data Mining (DDM) has emerged as a hot research area. Careful attention in the usage of distributed resources of data, computing, communication, and human factors in a near optimal fashion are paid by distributed data mining. DDM is gaining attention in peer-to-peer (P2P) systems which are emerging as a choice of solution for applications such as file sharing, collaborative movie and song scoring, electronic commerce, and surveillance using sensor networks. The main intension of this draft paper is to provide an overview of DDM and P2P Data Mining. The paper discusses the need for DDM, taxonomy of DDM architectures, various DDM approaches, DDM related works in P2P systems and issues and challenges in P2P data mining.

연구 동기 및 목표

• 다양한 사이트에 산재한 거대한 분산 데이터셋을 처리하는 데 있어 중앙집중식 데이터 마이닝의 한계를 해결하기 위해.
• 현대 컴퓨팅 환경에서 탈중앙화되고 확장 가능하며 프라이버시를 보장하는 데이터 마이닝 솔루션의 필요성을 규명하기 위해.
• 자원 효율성과 장애 내성에 중점을 두어 P2P 네트워크에 특화된 기존 DDM 아키텍처와 접근 방식을 조사하기 위해.
• P2P 기반 데이터 마이닝에서 데이터 이질성, 통신 오버헤드, 부하 불균형 등의 과제를 분석하기 위해.
• 연구자와 실무자들을 위해 최신 DDM 기법의 체계적 분류와 비판적 검토를 제공하기 위해.

제안 방법

• 데이터 및 계산의 분포 방식에 따라 DDM 아키텍처를 중심화된, 완전히 분산된, 하이브리드 모델로 분류하기 위해.
• 마이닝 작업이 수행되는 위치에 따라 DDM 접근 방식을 데이터 중심, 모델 중심, 하이브리드 전략으로 분류하기 위해.
• 비구조적, 반구조적, 구조적 오버레이 토폴로지 기반의 P2P 특화 데이터 마이닝 기법을 검토하기 위해.
• 대역폭 사용과 지연을 최소화하기 위해 P2P 데이터 마이닝에서 사용되는 통신 및 조율 메커니즘을 분석하기 위해.
• P2P 환경에서의 데이터 익명화 및 안전한 다중 당사자 계산과 같은 프라이버시 보존 기법을 평가하기 위해.
• 기존 DDM 솔루션을 파일 공유, 전자상거래, 센서 네트워크 감시와 같은 실제 응용 분야에 대응시키기 위해.

실험 결과

연구 질문

• RQ1 왜 P2P 네트워크에서 분산 기반 접근 방식을 채택해야 하는가? 중앙집중식 데이터 마이닝의 근본적인 한계는 무엇인가?
• RQ2 확장성, 장애 내성, 성능 측면에서 P2P 시스템에서 중심화된, 완전히 분산된, 하이브리드 아키텍처 간의 비교는 어떻게 이루어지는가?
• RQ3 동적이고 탈중앙화된 P2P 네트워크에서 효율적이고 프라이버시를 보장하는 데이터 마이닝 알고리즘 설계 시 고려해야 할 주요 과제는 무엇인가?
• RQ4 기존 P2P 데이터 마이닝 프레임워크는 데이터 이질성, 부하 불균형, 통신 오버헤드를 어떻게 처리하는가?
• RQ5 데이터 프라이버시와 시스템 효율성을 유지하면서 P2P 시스템에 데이터 마이닝을 통합하기 위한 가장 유망한 아키텍처 및 알고리즘 전략은 무엇인가?

주요 결과

• 대규모 분산 데이터셋 처리에 있어 중앙집중식 데이터 마이닝은 대역폭, 프라이버시, 확장성 제약으로 인해 비현실적이다.
• P2P 네트워크는 중앙집중화 위험을 줄이며 분산된 데이터 저장 및 계산을 가능하게 하여 분산 데이터 마이닝에 실현 가능한 인프라를 제공한다.
• 하이브리드 DDM 아키텍처는 중심화된 조율과 분산 처리를 조합함으로써 성능과 장애 내성 사이의 균형 잡힌 트레이드오프를 제공한다.
• 통신 오버헤드와 부하 불균형은 특히 동적이고 이질적인 네트워크에서 여전히 주요 과제로 남아 있다.
• 데이터 익명화 및 안전한 집계와 같은 프라이버시 보존 기법은 탈중앙화된 데이터 마이닝 워크플로우에서 신뢰를 확보하기 위해 필수적이다.
• 기존의 P2P 데이터 마이닝 솔루션은 협업 필터링, 센서 네트워크 모니터링, 분산 전자상거래 등 응용 분야에서 유망한 성과를 보였지만, 실시간 성능 향상을 위해 추가 최적화가 필요하다.