[논문 리뷰] On the Effectiveness of Discretizing Quantitative Attributes in Linear Classifiers

Nayyar A. Zaidi, Yang Du외 1명|arXiv (Cornell University)|2017. 01. 24.

Neural Networks and Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 선형 분류기에서 양적 속성의 이산화가 표현 편향을 크게 감소시켜 정확도를 향상시킨다는 것을 입증한다. 특히 대규모 데이터셋에서 성능 향상이 두드러지며, 더 유연한 결정 경계를 가능하게 한다. 정보 손실에도 불구하고, 로지스틱 회귀, 서포트 벡터 분류기, 신경망을 포함한 다양한 모델에서 성능 향상이 관찰되었으며, 42개의 벤치마크 데이터셋을 통해 검증되었다.

ABSTRACT

Learning algorithms that learn linear models often have high representation bias on real-world problems. In this paper, we show that this representation bias can be greatly reduced by discretization. Discretization is a common procedure in machine learning that is used to convert a quantitative attribute into a qualitative one. It is often motivated by the limitation of some learners to qualitative data. Discretization loses information, as fewer distinctions between instances are possible using discretized data relative to undiscretized data. In consequence, where discretization is not essential, it might appear desirable to avoid it. However, it has been shown that discretization often substantially reduces the error of the linear generative Bayesian classifier naive Bayes. This motivates a systematic study of the effectiveness of discretizing quantitative attributes for other linear classifiers. In this work, we study the effect of discretization on the performance of linear classifiers optimizing three distinct discriminative objective functions --- logistic regression (optimizing negative log-likelihood), support vector classifiers (optimizing hinge loss) and a zero-hidden layer artificial neural network (optimizing mean-square-error). We show that discretization can greatly increase the accuracy of these linear discriminative learners by reducing their representation bias, especially on big datasets. We substantiate our claims with an empirical study on $42$ benchmark datasets.

연구 동기 및 목표

• 양적 속성의 이산화가 선형 분류기에서 표현 편향을 줄일 수 있는지 조사하는 것.
• 로지스틱 회귀, 서포트 벡터 분류기, 신경망과 같은 다수의 선형 분류 모델에서 이산화의 효과를 평가하는 것.
• 정보 손실에도 불구하고 이산화가 일반화 오차를 낮추는 조건을 규명하는 것.
• 선형 모델에서의 편향-분산 트레이드오프를 분석하고, 이산화가 이 균형을 어떻게 이동시키는지 평가하는 것.
• 다양한 실제 데이터셋에서 이산화의 영향에 대한 실증적 증거를 제공하는 것.

제안 방법

• 연속적인 값을 이산 간격으로 변환하기 위해 등빈도 분할 기법을 사용하여 양적 속성에 이산화를 적용한다.
• 세 가지 선형 분류 모델을 학습한다: 로지스틱 회귀(음의 로그우도 최소화), 서포트 벡터 분류기(힌지 손실 최소화), 및 히든 레이어가 없는 신경망(평균제곱오차 최소화).
• 원본 연속 데이터와 이산화된 데이터를 모두 사용하여 성능 비교 및 편향 감소 분석을 수행한다.
• 모델 일반화에 대한 이산화의 영향을 분석하기 위해 편향-분산 분해 기법을 사용한다.
• UCI 및 기타 출처의 42개의 벤치마크 데이터셋을 대상으로 실증 평가를 수행한다. 이 데이터셋들은 다양한 분야와 크기를 포함한다.
• 관측된 성능 향상의 통계적 유의성을 검증하기 위해 통계적 유의성 검정을 적용한다.

실험 결과

연구 질문

• RQ1 양적 속성의 이산화가 선형 분류기에서 표현 편향을 줄이는가? 특히 대규모 데이터셋에서 그러한 효과가 있는가?
• RQ2 이산화가 로지스틱 회귀, 서포트 벡터 분류기, 신경망의 성능에 어떤 영향을 미치는가?
• RQ3 정보 손실이 있음에도 불구하고 이산화가 일반화 오차를 낮추는 조건는 무엇인가?
• RQ4 이산화가 선형 모델의 편향-분산 트레이드오프에 어떤 영향을 미치는가?
• RQ5 이산화로 인한 성능 향상은 다양한 데이터 크기와 도메인에서 일관되게 나타나는가?

주요 결과

• 이산화로 인해 선형 분류기에서 표현 편향이 크게 감소하며, 특히 오버피팅이 최소화되는 대규모 데이터셋에서 두드러진다.
• 이산화로 인한 성능 향상은 로지스틱 회귀와 서포트 벡터 분류기에서 가장 두드러지며, 42개의 벤치마크 데이터셋 전반에서 일관된 정확도 향상이 관찰된다.
• 히든 레이어가 없는 신경망의 경우, 이산화로 인해 선형 분리만으로는 달성할 수 없는 더 복잡한 결정 경계를 구현할 수 있어 정확도가 향상된다.
• 이산화로 인한 편향 감소는 일반적으로 테스트 오차를 낮추며, 특히 분산 증가를 상쇄할 수 있을 정도로 충분히 큰 데이터셋에서 두드러진다.
• 기본 데이터 분포가 비선형인 경우 이산화의 이점이 가장 뚜렷한데, 이는 선형 모델이 비선형 결정 경계를 근사할 수 있도록 도와주기 때문이다.
• 실증 결과에 따르면, 일부 정보를 손실하더라도 실제 환경에서 이산화가 연속 모델링을 능가할 수 있음을 보여준다.