[논문 리뷰] Comparative Study of Instance Based Learning and Back Propagation for Classification Problems

Nadia Kanwal, Erkan Bostancı|arXiv (Cornell University)|2016. 04. 19.

Advanced Statistical Methods and Models참고 문헌 1인용 수 3

한 줄 요약

이 연구는 다양한 데이터셋과 성능 메트릭을 사용하여 분류 작업에서 백프로파게이션 신경망(BPNN)과 인스턴스 기반 학습(IBL)을 비교한다. 결과적으로 BPNN는 최적의 하이퍼파라미터 튜닝을 통해 IBL를 압도적으로 뛰어넘으며, 다중 대체(Multiple Imputation) 기법이 평균/모드 대체보다 더 효과적으로 결측치를 처리하지만, 소규모 데이터셋에는 적합하지 않다.

ABSTRACT

The paper presents a comparative study of the performance of Back Propagation and Instance Based Learning Algorithm for classification tasks. The study is carried out by a series of experiments will all possible combinations of parameter values for the algorithms under evaluation. The algorithm's classification accuracy is compared over a range of datasets and measurements like Cross Validation, Kappa Statistics, Root Mean Squared Value and True Positive vs False Positive rate have been used to evaluate their performance. Along with performance comparison, techniques of handling missing values have also been compared that include Mean or Mode replacement and Multiple Imputation. The results showed that parameter adjustment plays vital role in improving an algorithm's accuracy and therefore, Back Propagation has shown better results as compared to Instance Based Learning. Furthermore, the problem of missing values was better handled by Multiple imputation method, however, not suitable for less amount of data.

연구 동기 및 목표

• 백프로파게이션 신경망(BPNN)과 인스턴스 기반 학습(IBL) 알고리즘의 분류 성능을 평가하고 비교하는 것.
• 다양한 데이터셋에서 BPNN와 IBL의 정확도에 영향을 주는 하이퍼파라미터 튜닝의 영향을 조사하는 것.
• 평균/모드 대체와 다중 대체를 포함한 다양한 결측치 보정 기법이 분류 성능에 미치는 영향을 평가하는 것.
• 교차검증, 카파 통계, RMSE, 참/거짓 양성 비율 등의 다중 메트릭을 사용하여 성능을 분석하는 것.
• 분류 작업에서 소규모 대비 대규모 데이터셋에서 다중 대체 기법의 적합성을 판단하는 것.

제안 방법

• BPNN와 IBL의 모든 가능한 하이퍼파라미터 조합을 사용하여 다수의 데이터셋에서 성능을 평가하기 위해 실험을 수행하였다.
• 모델의 일반화 및 안정성을 평가하기 위해 10겹 교차검증을 적용하였다.
• 단순 정확도를 넘는 신뢰성과 일致도를 측정하기 위해 카파 통계를 사용하였다.
• 분류 결과의 예측 오차를 정량화하기 위해 최소 제곱근 오차(RMSE)를 계산하였다.
• 민감도와 특이도를 평가하기 위해 참양성비율(TPR)과 거짓양성비율(FPR)을 사용하여 모델 성능을 평가하였다.
• 결측치 처리 기법으로 평균/모드 대체와 다중 대체를 구현하여 그 영향을 모델 정확도에 대해 비교하였다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 백프로파게이션 신경망은 인스턴스 기반 학습보다 분류 정확도에서 어떻게 다른가?
• RQ2 하이퍼파라미터 튜닝은 분류 작업에서 BPNN와 IBL의 성능에 얼마나 큰 영향을 미치는가?
• RQ3 평균/모드 대체와 다중 대체 중 어떤 결측치 보정 기법이 더 나은 분류 결과를 낳는가?
• RQ4 카파 통계, RMSE, TPR, FPR와 같은 성능 메트릭은 서로 다른 하이퍼파라미터 설정에서 BPNN와 IBL 간에 어떻게 변하는가?
• RQ5 분류 모델링 맥락에서 다중 대체 기법은 소규모 데이터셋에 비해 대규모 데이터셋에서 더 효과적인가?

주요 결과

• 백프로파게이션 신경망은 하이퍼파라미터를 최적화한 경우 인스턴스 기반 학습보다 뛰어난 분류 정확도를 보였다.
• 하이퍼파라미터 조정은 양 알고리즘의 성능 향상에 결정적인 역할을 하였으며, 특히 BPNN가 이러한 튜닝에서 더 큰 이점을 얻었다.
• 다중 대체 기법은 특히 대규모 데이터셋에서 평균 또는 모드 대체보다 결측치 처리에 뛰어나 더 견고한 분류 결과를 이끌어냈다.
• 다중 대체 기법은 소규모 데이터셋에서는 성능이 떨어져 데이터 양에 의존하는 경향을 보였다.
• 카파 통계와 RMSE 값은 BPNN가 테스트된 구성에서 일관되게 더 높은 신뢰성과 낮은 오차율을 기록함을 추가로 확인하였다.
• 참양성비율과 거짓양성비율은 복잡한 데이터셋에서 BPNN가 민감도와 특이도의 균형을 더 잘 유지함을 시사하였다.