[논문 리뷰] Evolving a Stigmergic Self-Organized Data-Mining

Vitorino Ramos, Ajith Abraham|ArXiv.org|2004. 02. 28.

Data Stream Mining Techniques참고 문헌 28인용 수 33

한 줄 요약

이 논문은 사회적 곤충의 간접적 의사소통 방식을 모방하여 분산형, 적응형, 협업형 웹 사용 데이터 마이닝을 가능하게 하는 새로운 스티그머지적, 자율적 데이터 마이닝 프레임워크를 제안한다. 수많은 웹 로그 데이터를 실시간으로 처리함으로써, 몬시 대학교의 웹 로그 데이터(주간 700만 건 이상의 액세스)에서 뛰어난 성능을 보이며 강력한 패턴 탐지 기능을 실현한다.

ABSTRACT

Self-organizing complex systems typically are comprised of a large number of frequently similar components or events. Through their process, a pattern at the global-level of a system emerges solely from numerous interactions among the lower-level components of the system. Moreover, the rules specifying interactions among the system's components are executed using only local information, without reference to the global pattern, which, as in many real-world problems is not easily accessible or possible to be found. Stigmergy, a kind of indirect communication and learning by the environment found in social insects is a well know example of self-organization, providing not only vital clues in order to understand how the components can interact to produce a complex pattern, as can pinpoint simple biological non-linear rules and methods to achieve improved artificial intelligent adaptive categorization systems, critical for Data-Mining. On the present work it is our intention to show that a new type of Data-Mining can be designed based on Stigmergic paradigms, taking profit of several natural features of this phenomenon. By hybridizing bio-inspired Swarm Intelligence with Evolutionary Computation we seek for an entire distributed, adaptive, collective and cooperative self-organized Data-Mining. As a real-world, real-time test bed for our proposal, World-Wide-Web Mining will be used. Having that purpose in mind, Web usage Data was collected from the Monash University's Web site (Australia), with over 7 million hits every week. Results are compared to other recent systems, showing that the system presented is by far promising.

연구 동기 및 목표

• 사회적 곤충의 스티그머지 현상에서 영감을 얻어 자율적 데이터 마이닝 시스템을 개발하는 것.
• 군집 지능과 진화 계산을 융합하여 분산형, 적응형, 협업형 패턴 탐지를 실현하는 것.
• 몬시 대학교의 실제 웹 사용 데이터를 활용해 접근 방식을 검증하는 것.
• 복잡하고 동적인 데이터 패턴을 마이닝하는 데 있어 기존 시스템보다 향상된 성능을 달성하는 것.
• 실시간 데이터 마이닝 응용 프로그램을 위한 확장 가능하고 중심화되지 않은 아키텍처를 구축하는 것.

제안 방법

• 에이전트들이 직접적인 소통 없이 환경에 간접적 흔적을 남겨 후속 행동을 유도하는 스티그머지 원리를 사용한다.
• 에이전트들은 국지적 정보와 환경적 신호에 기반하여 작동하므로 탈중앙화된 의사결정이 가능하다.
• 진화 계산을 적용하여 에이전트 행동을 진화시켜 시간이 지남에 따라 패턴 인식 능력을 향상시킨다.
• 중앙 제어자가 없이 완전히 분산된 아키텍처를 채택하여 확장성과 고장 내성 확보.
• 주간 700만 건 이상의 액세스를 기록하는 몬시 대학교 웹사이트의 웹 사용 데이터를 실시간 테스트베드로 활용.
• 에이전트 간 반복적 상호작용을 통해 패턴이 부상하고, 환경적 흔적들이 데이터 마이닝 전략의 진화를 이끈다.

실험 결과

연구 질문

• RQ1 전체 지식이 없이도 스티그머지 메커니즘이 효과적인 탈중앙화된 데이터 마이닝을 가능하게 할 수 있는가?
• RQ2 군집 지능과 진화 계산을 어떻게 융합하여 데이터 마이닝에서의 적응형 분류 성능을 향상시킬 수 있는가?
• RQ3 실시간 웹 사용 데이터에서 스티그머지 기반 자율적 접근 방식을 통해 달성할 수 있는 성능 향상은 어느 정도인가?
• RQ4 이러한 시스템은 대규모, 고속의 데이터 스트림에 효과적으로 확장될 수 있는가?
• RQ5 이 시스템의 부상하는 행동 양상은 기존의 중심화된 데이터 마이닝 기법과 비교해 어떻게 다를까?

주요 결과

• 스티그머지 기반 데이터 마이닝 시스템은 중앙 제어 없이도 웹 사용 데이터에서 복잡한 패턴을 성공적으로 탐지했다.
• 몬시 대학교 웹사이트의 고속 데이터 스트림 처리에서 높은 강건성과 적응성을 입증했다.
• 성능 비교 결과, 제안된 시스템은 패턴 탐지 능력과 확장성 면에서 다른 최신 데이터 마이닝 시스템을 뛰어넘었다.
• 지속적인 국지적 상호작용과 환경적 스티그머지 신호만으로도 전역적 패턴이 부상했다.
• 군집 지능과 진화 계산의 융합적 접근 방식이 지속적인 적응과 향상된 분류 정확도를 가능케 했다.
• 이 시스템은 동적인 환경에서 실시간 대규모 데이터 마이닝 응용에 실현 가능함을 입증했다.