[논문 리뷰] Towards the effectiveness of Deep Convolutional Neural Network based Fast Random Forest Classifier

Mrutyunjaya Panda|arXiv (Cornell University)|2016. 09. 28.

Machine Learning and ELM인용 수 4

한 줄 요약

이 논문은 특징 추출을 위해 딥 컨volution 신경망(DCNN)과 분류를 위해 빠른 랜덤 포레스트(FRF)를 조합한 새로운 하이브리드 분류기인 DCNN-FRF를 제안한다. DCNN는 계층적 특징 학습 능력을, FRF는 고차원 및 노이즈가 많은 데이터에 대한 강건성을 지닌다. 이 방법은 바이오인포매틱스, 수기 숫자 인식, 이미지 분할과 같은 벤치마크 데이터셋에서 최신 기술 수준의 정확도와 속도를 달성하며, 효과적인 정규화와 효율적인 앙상블 학습을 통해 기존 방법을 능가한다.

ABSTRACT

Deep Learning is considered to be a quite young in the area of machine learning research, found its effectiveness in dealing complex yet high dimensional dataset that includes but limited to images, text and speech etc. with multiple levels of representation and abstraction. As there are a plethora of research on these datasets by various researchers , a win over them needs lots of attention. Careful setting of Deep learning parameters is of paramount importance in order to avoid the overfitting unlike conventional methods with limited parameter settings. Deep Convolutional neural network (DCNN) with multiple layers of compositions and appropriate settings might be is an efficient machine learning method that can outperform the conventional methods in a great way. However, due to its slow adoption in learning, there are also always a chance of overfitting during feature selection process, which can be addressed by employing a regularization method called dropout. Fast Random Forest (FRF) is a powerful ensemble classifier especially when the datasets are noisy and when the number of attributes is large in comparison to the number of instances, as is the case of Bioinformatics datasets. Several publicly available Bioinformatics dataset, Handwritten digits recognition and Image segmentation dataset are considered for evaluation of the proposed approach. The excellent performance obtained by the proposed DCNN based feature selection with FRF classifier on high dimensional datasets makes it a fast and accurate classifier in comparison the state-of-the-art.

연구 동기 및 목표

• 생물정보학 및 컴퓨터 비전에서 흔히 볼 수 있는 고차원이고 노이즈가 많은 데이터셋에서 딥 러닝의 과적합 문제와 느린 학습 문제를 해결하기 위해.
• 많은 특성과 적은 샘플 수를 가진 데이터셋에서 DCNN의 계층적 특징 표현 능력과 FRF의 강건성을 결합하여 분류 성능을 향상시키기 위해.
• 伝통적 방법과 비교해 DCNN 기반 특징 선택이 분류 정확도와 계산 효율성에 어떤 영향을 미치는지 평가하기 위해.
• 실세계 데이터셋에서 복잡한 고차원 특징을 지닌 데이터에 대해 제안된 하이브리드 모델의 우수성을 입증하기 위해.

제안 방법

• 이미지 및 고차원 벡터와 같은 원시 입력 데이터로부터 계층적이고 추상적인 표현을 자동으로 학습하기 위해 다중층의 딥 컨volution 신경망(DCNN)을 사용한다.
• 특징 선택 단계에서 고차원 데이터의 과적합을 방지하기 위해 DCNN 학습 중 드롭아웃 정규화를 적용한다.
• 학습된 특징을 빠른 랜덤 포레스트(FRF) 분류기의 입력으로 사용하며, 이는 많은 특성과 제한된 샘플 수를 가진 데이터셋에 최적화되어 있다.
• 백프로파게이션을 통해 DCNN을 엔드 투 엔드로 학습한 후, 결과로 유도된 임bedding을 추출하여 FRF에 입력하여 최종 분류를 수행한다.
• 정확도와 학습 속도의 균형을 맞추기 위해 교차 검증을 통해 DCNN 및 FRF의 하이퍼파ram터를 최적화한다.
• 일반화 능력과 성능을 검증하기 위해 바이오인포매틱스, MNIST, 이미지 분할 등 다양한 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 DCNN 기반의 특징 추출 파이프라인은 고차원이고 노이즈가 많은 데이터셋에서 과적합을 효과적으로 줄이고 표현 품질을 향상시킬 수 있는가?
• RQ2 DCNN 특징과 빠른 랜덤 포레스트의 통합은 단독 모델 대비 분류 정확도와 속도를 어떻게 향상시키는가?
• RQ3 DCNN 구성 요소에서의 드롭아웃 정규화는 소수의 샘플과 많은 특성 수를 가진 데이터셋에서 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 하이브리드 모델은 MNIST 및 바이오인포매틱스 데이터와 같은 벤치마크 데이터셋에서 최신 기술 수준의 방법을 능가하는가?

주요 결과

• 제안된 DCNN-FRF 하이브리드 모델은 바이오인포매틱스 및 이미지 분할과 같은 고차원 데이터셋에서 기준선 방법 대비 뛰어난 분류 정확도를 달성하였다.
• DCNN 특징 학습과 FRF의 통합은 특히 특성 수가 샘플 수를 초과하는 데이터셋에서 과적합을 크게 감소시켰다.
• DCNN 구성 요소에서의 드롭아웃 사용은 특징 선택 과정 중 과적합을 효과적으로 완화하여 모델의 일반화 능력을 향상시켰다.
• 빠른 랜덤 포레스트 분류기의 효율성 덕분에 기존 딥 러닝 모델보다 더 빠른 학습 및 추론 시간을 보였다.
• MNIST 수기 숫자 인식 데이터셋에서 제안된 방법은 경쟁력 있는 정확도를 달성하면서도 높은 계산 효율성을 유지하였다.
• 결과는 하이브리드 접근 방식이 복잡한 고차원 특징과 제한된 학습 샘플을 가진 데이터셋에 특히 효과적임을 시사한다.