[논문 리뷰] StreamSoNG: A Soft Streaming Classification Approach

Wenlong Wu, James M. Keller외 2명|arXiv (Cornell University)|2020. 10. 01.

Data Stream Mining Techniques참고 문헌 40인용 수 4

한 줄 요약

StreamSoNG는 Neural Gas 프로토타입을 동적 흔적(dynamic footprints)으로 사용하여 수정된 가능도 기반 k-최근접 이웃 알고리즘을 통해 들어오는 데이터에 대해 가능도 벡터(일반성도, typicalities)를 생성하는 소프트 스트리밍 분류 방법을 제안한다. 합성 및 실제 이미지 데이터셋에서 평가한 결과, Adaptive Random Forest, Very Fast Decision Rules, DenStream보다 분류 정확도와 개념 이동에 대한 강건성에서 뛰어난 성능을 보였다.

ABSTRACT

Examining most streaming clustering algorithms leads to the understanding that they are actually incremental classification models. They model existing and newly discovered structures via summary information that we call footprints. Incoming data is normally assigned a crisp label (into one of the structures) and that structure's footprint is incrementally updated. There is no reason that these assignments need to be crisp. In this paper, we propose a new streaming classification algorithm that uses Neural Gas prototypes as footprints and produces a possibilistic label vector (of typicalities) for each incoming vector. These typicalities are generated by a modified possibilistic k-nearest neighbor algorithm. The approach is tested on synthetic and real image datasets. We compare our approach to three other streaming classifiers based on the Adaptive Random Forest, Very Fast Decision Rules, and the DenStream algorithm with excellent results.

연구 동기 및 목표

• 스트리밍 분류에서 명확한 레이블링의 한계를 해결하기 위해 소프트이고 가능도 기반의 접근 방식을 도입하기 위해.
• Neural Gas 프로토타입에서 유도된 동적 흔적을 사용하여 변화하는 데이터 구조를 모델링하기 위해.
• 일반성도 기반 할당을 통해 개념 이동 상황에서의 분류 강건성을 향상시키기 위해.
• 최소한의 재학습으로도 높은 정확도를 유지할 수 있는 민첩하고 증분 학습 가능한 프레임워크를 제공하기 위해.
• 다양한 이미지 및 합성 데이터셋에서 기존의 스트리밍 분류기들과의 성능 비교를 수행하기 위해.

제안 방법

• 이 방법은 스트리밍 환경에서 기존 및 새로운 데이터 구조를 나타내기 위해 Neural Gas 프로토타입을 흔적(designated footprints)으로 활용한다.
• 각 도착하는 데이터 벡터는 명확한 레이블이 아닌, 각 클러스터에 대한 일반성도를 나타내는 가능도 레이블 벡터에 할당된다.
• 수정된 가능도 기반 k-최근접 이웃 알고리즘이 가장 가까운 프로토타입까지의 거리를 기반으로 일반성도를 계산하며, 이상치에 대한 강건성이 향상된다.
• 구조의 무결성을 장기간 유지하기 위해 소프트 업데이트 규칙을 사용하여 흔적을 점진적으로 갱신한다.
• 최소한의 계산 오버헤드로 실시간 응용에 적합한 온라인 학습을 지원한다.
• 일반성도 점수를 통한 불확실성 모델링을 통합하여 모호하거나 노이즈가 있는 데이터를 더 잘 처리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 명확한 레이블을 가능도 기반 일반성도 점수로 대체함으로써 어떻게 스트리밍 분류를 향상시킬 수 있는가?
• RQ2 Neural Gas 프로토타입은 스트리밍 환경에서 변화하는 데이터 구조를 위한 동적 흔적으로 효과적으로 기능할 수 있는가?
• RQ3 수정된 가능도 기반 k-최근접 이웃 알고리즘이 개념 이동과 이상치에 대해 강건성을 향상시키는가?
• RQ4 소프트 분류 접근 방식은 기존의 스트리밍 분류기들과 비교해 정확도와 안정성 측면에서 어떻게 성능을 내는가?
• RQ5 이 방법은 스트리밍 조건 하에서 합성 및 실제 이미지 데이터셋 모두에서 높은 성능을 유지할 수 있는가?

주요 결과

• StreamSoNG는 기준 데이터셋에서 Adaptive Random Forest, Very Fast Decision Rules, DenStream보다 뛰어난 분류 정확도를 달성했다.
• 가능도 기반 일반성도의 사용이 개념 이동과 노이즈가 있는 데이터에 대한 강건성을 크게 향상시켰다.
• Neural Gas 프로토타입은 최소한의 메모리와 계산 오버헤드로 변화하는 데이터 구조를 효과적으로 포착했다.
• 수정된 가능도 기반 k-최근접 이웃 알고리즘은 클러스터 경계에 대한 민감도 향상과 이상치 탐지 능력 향상을 보였다.
• 이 방법은 복잡하고 비선형적으로 분리되지 않은 패턴을 포함한 실제 이미지 데이터셋에서도 높은 성능을 유지했다.
• 결과는 동적이고 변화하는 데이터 환경에서 일반성도 벡터를 통한 소프트 할당이 명확한 레이블링보다 우수한 성능을 내는 것으로 확인되었다.