[논문 리뷰] A Nonparametric Ensemble Binary Classifier and its Statistical Properties

Tanujit Chakraborty, Ashis Kumar Chakraborty외 1명|arXiv (Cornell University)|2018. 04. 29.

Neural Networks and Applications참고 문헌 33인용 수 18

한 줄 요약

이 논문은 고차원이며 소형에서 중형의 의료 데이터셋에서 보편적 일致성과 향상된 정확도를 달성하기 위해 분류 트리(CT)와 인공 신경망(ANN)을 조합한 비모수적 앙상블 이진 분류기를 제안한다. 이 방법은 CT를 특성 선택 도구로 사용하고, 단일 은닉층을 가진 ANN의 입력 특성으로 활용하며, 해석적으로 유도된 최적의 뉴런 수를 적용함으로써 기존 최첨단 모델에 비해 뛰어난 성능과 더불어 하이퍼파ram터 튜닝을 줄였다.

ABSTRACT

In this work, we propose an ensemble of classification trees (CT) and artificial neural networks (ANN). Several statistical properties including universal consistency and upper bound of an important parameter of the proposed classifier are shown. Numerical evidence is also provided using various real life data sets to assess the performance of the model. Our proposed nonparametric ensemble classifier doesn't suffer from the `curse of dimensionality' and can be used in a wide variety of feature selection cum classification problems. Performance of the proposed model is quite better when compared to many other state-of-the-art models used for similar situations.

연구 동기 및 목표

• 분류 트리(CT)와 인공 신경망(ANN)의 장점을 조합하여 분류 정확도를 향상시키기 위한 비모수적 앙상블 분류기를 개발하는 것.
• 제안된 앙상블 모델에 대해 보편적 일치성과 은닉 뉴런 수의 상한선을 포함한 이론적 보장을 확립하는 것.
• 딥러닝이나 복잡한 신경망에 비해 하이퍼파ram터 수를 줄이고 해석 가능성을 향상시키는 것.
• 특히 의료 적용 분야에서 고차원이며 소형에서 중형의 데이터셋에서 효과적인 특성 선택과 분류를 가능하게 하는 것.
• 하이브리드 CT-ANN 모델에서 경험적 성공과 이론적 정당성 사이의 격차를 메우는 것.

제안 방법

• 중요한 특성을 식별하고 클래스 예측을 생성하기 위해 데이터에 대해 분류 트리(CT)를 학습시킨다.
• 단일 은닉층 피드포워드 신경망(ANN)에 CT가 예측한 클래스 레이블을 추가 입력 특성으로 사용한다.
• CT에서 선택한 특성과 CT 출력을 사용하여 ANN를 학습시키며, 시그모이드 활성화 함수와 최소-최대 정규화된 입력 데이터를 적용한다.
• 은닉층의 최적 뉴런 수를 O(√(n / (dm log n)))로 이론적으로 유도한다. 여기서 n은 학습 샘플 수이고, dm은 ANN의 입력 특성 수이다.
• 실제 의료 데이터셋에 앙상블 모델을 적용하여 Random Forest(RF), SVM, DNDT와 같은 최첨단 분류기들과 성능을 비교한다.
• 신경망 학습을 위해 neuralnet R 패키지를 사용하여 계산 비용과 메모리 사용을 최소화한다.

실험 결과

연구 질문

• RQ1 하이브리드 CT-ANN 앙상블 모델은 낮은 계산 비용과 최소한의 하이퍼파ram터 튜닝을 유지하면서 보편적 일치성을 달성할 수 있는가?
• RQ2 CT가 예측한 클래스 레이블을 입력 특성으로 포함시키는 것이 후속 ANN의 분류 성능을 향상시키는가?
• RQ3 제안된 앙상블 모델의 ANN 구성 요소에서 은닉층의 최적 뉴런 수는 얼마인가?
• RQ4 고차원이며 소형에서 중형의 의료 데이터셋에서 제안된 모델은 기존 최첨단 분류기들보다 정확도와 강건성 면에서 어떻게 비교되는가?
• RQ5 CT 기반 특성 선택이 앙상블 프레임워크 내에서 모델 성능 향상과 해석 가능성 향상에 얼마나 기여하는가?

주요 결과

• 제안된 앙상블 CT-ANN 모델은 보편적 일치성을 달성하여 신뢰성에 대한 강력한 이론적 기반을 제공한다.
• 은닉층의 최적 뉴런 수는 이론적으로 O(√(n / (dm log n)))로 유도되었으며, 이는 하이퍼파ram터 튜닝이 크게 줄어들게 한다.
• 6개의 실제 의료 데이터셋에서 모든 비교 모델 중 가장 높은 총 정확도(버지니아 주 유방암 데이터셋 기준 97.30%)와 F-측정치(0.98)를 기록했다.
• 특히 특성 선택과 분류 정확도 면에서 Random Forest, SVM, Deep Neural Decision Trees(DNDT)와 같은 최첨단 모델들을 초월했다.
• 학습 시간과 자원 요구량이 DNDT와 같이 GPU에 의존하는 모델들보다 뚜렷이 낮아 계산 비용과 메모리 사용이 낮았다.
• CT 출력을 입력 특성로 포함시킴으로써 클래스 간 분리도가 향상되었으며, 이는 특히 복잡한 고차원 특성 공간에서 성능 향상에 기여했다.