[논문 리뷰] An Empirical Study on Feature Discretization

Qiang Liu, Zhaocheng Liu외 1명|arXiv (Cornell University)|2020. 04. 27.

Neural Networks and Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 국소 선형 인코딩(LLE)을 제안하며, 이는 이산화된 버킷 내에서 선형 보간을 사용하여 정확도를 향상시키면서도 강건성을 유지하는 새로운 특징 이산화 방법이다. HIGGS 및 SUSY 데이터셋에서의 실험 결과, LLE는 전통적인 이산화 방법과 다중 해상도 이산화(MGD)보다 훨씬 적은 모델 파라미터로도 상태의 최고 성능을 달성하며, 다양한 학습 데이터 비율에서 뛰어난 성능을 보였다.

ABSTRACT

When dealing with continuous numeric features, we usually adopt feature discretization. In this work, to find the best way to conduct feature discretization, we present some theoretical analysis, in which we focus on analyzing correctness and robustness of feature discretization. Then, we propose a novel discretization method called Local Linear Encoding (LLE). Experiments on two numeric datasets show that, LLE can outperform conventional discretization method with much fewer model parameters.

연구 동기 및 목표

• 기계학습에서 연속적인 수치형 특징에 대한 최적의 이산화 방법을 규명하는 것.
• 기존의 이산화 기법들의 정확도와 강건성에 대한 이론적 분석을 수행하는 것.
• 정확도를 향상시키되 강건성을 훼손하지 않는 새로운 이산화 방법을 제안하는 것.
• 기존의 접근 방식인 MGD 및 일반 이산화 방식과 비교해 성능을 유지하거나 향상시키면서 모델 복잡도를 감소시키는 것.

제안 방법

• LLE는 각 버킷에 대한 표준 원핫 임베딩을 버킷 경계를 기준으로 한 선형 보간으로 대체하여 연속적인 값의 더 부드러운 표현을 가능하게 한다.
• 각 버킷에 대해 LLE는 특징 값의 위치에 기반한 선형 보간을 통해 인접한 버킷 임베딩의 가중 평균으로 예측를 계산한다.
• LLE는 노이즈에 대한 예측 분산을 유지함으로써 기존의 이산화 방식과 동일한 강건성을 유지한다.
• LLE는 진짜 레이블과 예측값 사이의 기대 제곱오차를 줄여 기저 함수를 더 잘 근사함으로써 정확도를 향상시킨다.
• LLE는 각 특징 필드당 하나의 학습 가능한 가중치 벡터만 사용하는 반면, MGD는 다양한 해상도에서 각 특징에 대해 여러 임베딩을 필요로 한다.
• 이론적 분석 결과, LLE는 특히 버킷 크기가 작을 경우 등분할 또는 등간격 이산화보다 더 낮은 정확도 오차를 달성한다.

실험 결과

연구 질문

• RQ1 이산화 버킷의 크기가 특징 이산화의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ2 기존의 접근 방식과 비교해 정확도를 향상시키되 강건성을 떨어뜨리지 않는 이산화 방법은 가능한가?
• RQ3 버킷 내 선형 보간은 고정된 버킷 임베딩보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 다양한 해상도에서 여러 임베딩을 사용하는 것(예: MGD)과 비교해 특징 필드당 하나의 임베딩만 사용하는 것이 더 나은 성능을 낼 수 있는가?
• RQ5 특징 이산화에서 모델 복잡도와 성능 사이의 상충 관계는 어떠한가?

주요 결과

• LLE는 모든 데이터셋과 학습 데이터 비율에서 가장 높은 성능을 달성하며, 공통 이산화(CD) 및 다중 해상도 이산화(MGD)를 모두 능가한다.
• HIGGS 데이터셋에서 LLE는 10개의 버킷을 사용해 DNN로 87.58%의 정확도를 기록했으며, 동일한 해상도에서 MGD(87.43%)와 CD(87.28%)를 모두 초월했다.
• SUSY 데이터셋에서 LLE는 10개의 버킷을 사용해 DNN로 86.62%의 정확도를 기록했으며, 동일한 설정에서 MGD(86.66%)와 CD(86.08%)를 모두 뛰어넘었다.
• HIGGS 데이터셋에서 LLE는 모델 파라미터 수를 MGD의 162,560에서 단 198로 줄여 100배 감소시켰다.
• LLE는 100%, 10%, 1%의 다양한 학습 데이터 비율에서도 일관된 성능을 유지하여 뛰어난 일반화 능력과 안정성을 입증했다.
• 이론적 분석을 통해 LLE는 기대 예측 오차를 줄여 정확도를 향상시키지만, 표준 이산화 방식과 동일한 수준의 강건성을 유지함을 확인했다.