[논문 리뷰] BELIEF: A distance-based redundancy-proof feature selection method for Big Data

Sergio Ramírez‐Gallego, Salvador García외 2명|arXiv (Cornell University)|2018. 04. 16.

Machine Learning and Data Classification인용 수 5

한 줄 요약

BELIEF는 대규모 데이터에 대해 분산형이고 거리 기반의 특성 가중치 부여 알고리즘으로, 특성 동시 발생 빈도를 활용해 상호 특성 간 의존성을 거의 비용이 들지 않는 수준에서 추정함으로써 확장성과 부재성 제거를 향상시킨다. 1,000만 개의 인스턴스와 1만 개의 특성을 가진 데이터셋에서 기존 방법인 DiReliefF와 DmRMR보다 런타임 효율성과 특성 선택 정확도 면에서 뛰어나며, 특히 낮은 표본 추출 비율에서 유의미하다.

ABSTRACT

With the advent of Big Data era, data reduction methods are highly demanded given its ability to simplify huge data, and ease complex learning processes. Concretely, algorithms that are able to filter relevant dimensions from a set of millions are of huge importance. Although effective, these techniques suffer from the "scalability" curse as well. In this work, we propose a distributed feature weighting algorithm, which is able to rank millions of features in parallel using large samples. This method, inspired by the well-known RELIEF algorithm, introduces a novel redundancy elimination measure that provides similar schemes to those based on entropy at a much lower cost. It also allows smooth scale up when more instances are demanded in feature estimations. Empirical tests performed on our method show its estimation ability in manifold huge sets --both in number of features and instances--, as well as its simplified runtime cost (specially, at the redundancy detection step).

연구 동기 및 목표

• Apache Spark의 MLlib와 같은 대규모 머신러닝 라이브러리에서 확장 가능하고 부재성 인식 특성 가중치 부여 알고리즘이 부족한 문제를 해결한다.
• 수백만 개의 특성과 인스턴스를 포함한 대규모 데이터에 적용했을 때 기존의 RELIEF와 같은 전통적 특성 선택 방법의 확장성 한계를 극복한다.
• 인스턴스 기반에서 파artition 기반 추정으로 전환함으로써 네트워크 I/O와 계산 비용을 최소화하는 분산 특성 가중치 부여 알고리즘을 개발한다.
• 특성 간 거리와 동시 발생 빈도를 활용해 부재 특성을 효율적으로 탐지하고 제거하는 내장된 부재성 제거 메커니즘을 도입한다.
• 최소한의 표본 추출(예: 1%)으로도 높은 정밀도의 특성 선택을 달성하면서 런타임 비용을 낮추고 강력한 확장성을 유지를 한다.

제안 방법

• Apache Spark를 대상으로 한 분산형 RELIEF 알고리즘의 개선 버전인 BELIEF를 제안하여 대규모 데이터셋의 병렬 처리를 가능하게 한다.
• 로컬 파artition로의 통신 제한을 통해 이웃 발견 과정을 최적화하여 네트워크 오버헤드를 줄이고 확장성을 향상시킨다.
• 인스턴스 기반 특성 가중치 추정을 파artition 기반 집계로 대체함으로써 계산 비용을 낮추고 동적 확장성을 지원한다.
• 특성 동시 발생 빈도를 기반으로 한 새로운 부재성 탐지 메커니즘(mCR)을 도입하여, 가중치 추정 과정에서 계산된 거리를 활용해 부재 특성을 식별하고 제거한다.
• 가중치 추정 과정에서 발생하는 거리 기반 동시 발생 패턴을 활용해 정보 이론적 부재성 측정치를 근사화함으로써 상당히 낮은 계산 비용으로 구현한다.
• 변동 가능한 표본 추출 비율을 지원하여 전체 데이터셋의 1% 미만의 데이터로도 정확한 특성 가중치 부여가 가능하며, 다양한 데이터 규모에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 수백만 개의 특성과 인스턴스를 포함한 대규모 데이터에서 분산 특성 가중치 부여 알고리즘이 높은 정확도와 낮은 런타임 비용을 동시에 달성할 수 있는가?
• RQ2 특성 동시 발생 빈도 기반으로 설계된 제안된 부재성 제거 메커니즘이 엔트로피 기반 방법과 정확도 및 효율성 면에서 어떻게 비교되는가?
• RQ3 대규모 환경에서 계산 비용을 최소화하면서도 높은 특성 선택 정확도를 유지하기 위한 최적의 표본 추출 비율은 무엇인가?
• RQ4 BELIEF는 정밀도와 속도 면에서 기존의 분산 특성 선택 방법인 DiReliefF와 DmRMR보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 데이터 볼륨 증가에 따라 런타임 비용이나 통신 오버헤드가 비례적으로 증가하지 않도록 효과적으로 확장 가능한가?

주요 결과

• BELIEF는 전체 데이터의 1%만을 표본 추출해도 안정적이고 높은 F1 점수(최대 0.95)를 기록하여 낮은 표본 추출 비율에서도 강건성과 정확도를 입증한다.
• 1% 표본 추출 비율에서 DmRMR 대비 런타임을 최대 70%까지 줄였으며, 특성 선택 정밀도는 유지하거나 향상시켰다.
• mCR 부재성 탐지 메커니즘은 상태 기술의 정보 이론적 방법과 거의 동일한 수준의 선택 품질을 제공하지만, 훨씬 낮은 계산 비용으로 실행된다.
• 최대 1,000만 개의 인스턴스와 1만 개의 특성을 가진 데이터셋에서의 실험을 통해 BELIEF의 확장성과 다양한 데이터 유형 및 밀도에서의 일관된 성능을 확인했다.
• 과도하게 낮은 표본 추출 비율(예: 100개의 인스턴스)은 F1 점수의 급격한 하락을 초래하여 신뢰할 수 있는 추정을 위해 충분한 표본이 필요함을 확인했다.
• BELIEF는 특히 낮은 표본 추출 비율과 고차원 환경에서 DiReliefF와 DmRMR를 모두 런타임과 정밀도 면에서 뛰어나게 성능을 발휘한다.