[논문 리뷰] Binarsity: a penalization for one-hot encoded features in linear supervised learning

Mokhtar Z. Alaya, Simon Bussy외 2명|arXiv (Cornell University)|2017. 03. 24.

Sparse and Compressive Sensing Techniques참고 문헌 49인용 수 6

한 줄 요약

이 논문은 선형 지도 학습에서 원-핫 인코딩된 연속형 특징에 대한 새로운 페널티 방법인 Binarsity를 소개한다. 그룹 총변동성 정규화와 특징 그룹당 선형 제약 조건을 조합함으로써 Binarsity는 조각별로 일정하고 블록 희박한 모델 가중치를 유도하여 동시에 특징 선택과 컷포인트 탐지가 가능하게 한다. 이 방법은 희박한 가감 모델 하에서 최적의 수렴 속도를 달성하며, 계산 복잡도가 L1-정규화 수준과 유사한 상태에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper deals with the problem of large-scale linear supervised learning in settings where a large number of continuous features are available. We propose to combine the well-known trick of one-hot encoding of continuous features with a new penalization called \emph{binarsity}. In each group of binary features coming from the one-hot encoding of a single raw continuous feature, this penalization uses total-variation regularization together with an extra linear constraint. This induces two interesting properties on the model weights of the one-hot encoded features: they are piecewise constant, and are eventually block sparse. Non-asymptotic oracle inequalities for generalized linear models are proposed. Moreover, under a sparse additive model assumption, we prove that our procedure matches the state-of-the-art in this setting. Numerical experiments illustrate the good performances of our approach on several datasets. It is also noteworthy that our method has a numerical complexity comparable to standard $\ell_1$ penalization.

연구 동기 및 목표

• 연속형 특징을 가진 고차원 선형 모델에서 과적합을 개선하기 위해 특징 인코딩 방식을 향상시키기 위해.
• 구조적 정규화를 통해 연속형 특징에서 동시에 특징 선택과 최적의 컷포인트 탐지가 가능하도록 하기 위해.
• 원-핫 인코딩과 총변동성 페널라이제이션을 결합하여 모델의 유연성과 해석 가능성 향상을 위한 방법을 개발하기 위해.
• 희박한 가감 모델 가정 하에서 일반화 선형 모델에 대해 비점근적 오ракル 부등식과 수렴 속도를 확립하기 위해.

제안 방법

• 원-핫 인코딩된 특징에 그룹 총변동성 정규화를 적용하는 Binarsity라는 페널티를 제안한다.
• 특징 그룹당 추가적인 선형 제약 조건을 도입하여 다중공선성 제거 및 블록 희박성 강제.
• 계산 복잡도가 L1-정규화와 유사한 수준이 되도록 효율적인 프록시멀 알고리즘을 사용하여 최적화 문제를 해결.
• 일반화 선형 모델에 이 페널티를 적용하여 각 특징에 대해 조각별 일정한 결정 함수를 가능하게 한다.
• 각 연속형 특징을 구간으로 나누고, 각 구간을 이진 특징으로 인코딩하는 이산화 기법을 사용.
• 희박한 가감 모델 가정 하에서 오라클 부등식과 수렴 속도를 유도하며, 고차원 환경에서의 최적성 증명.

실험 결과

연구 질문

• RQ1 구조적 페널라이제이션은 원-핫 인코딩된 연속형 특징을 가진 선형 모델에서 일반화 성능 향상에 기여하는가?
• RQ2 총변동성 정규화와 선형 제약 조건을 조합하면 기존의 L1-정규화보다 더 나은 특징 선택과 컷포인트 탐지가 가능한가?
• RQ3 제안된 방법은 연속형 특징을 가진 희박한 가감 모델에서 최적의 수렴 속도를 달성하는가?
• RQ4 실제로 Binarsity의 계산 복잡도는 기존의 L1-정규화 방법과 비교해 어떻게 되는가?
• RQ5 Binarsity가 유도하는 블록 희박한 구조는 실세계 데이터셋에서 관련 특징과 구간을 효과적으로 식별하는 데 기여하는가?

주요 결과

• Binarsity는 희박한 가감 모델 하에서 최적의 수렴 속도를 달성하며, 이 설정에서 최신 기술 수준의 성능을 보인다.
• 이 방법은 각 특징에 대해 조각별 일정한 결정 함수를 유도하여 선형 관계를 초월한 탄력적인 모델링이 가능하다.
• 블록 희박한 구조는 특징 그룹 내 모든 가중치가 동일한 경우 전체 그룹을 0으로 설정함으로써 원본 특징 선택이 가능하게 한다.
• 비점근적 오라클 부등식이 확립되었으며, 이는 예측 리스크가 진짜 희박성과 모델 복잡도에 따라 결정되는 항으로 유계임을 보여준다.
• 수치 실험을 통해 다양한 데이터셋에서 뛰어난 경험적 성능을 입증하였으며, 계산 비용은 L1-정규화와 유사하다.
• 예측 오차의 경계는 $ \frac{L^2 |\nabla_*|^2}{D^2} + \frac{\sigma^2 D |\nabla_*| M_n (A + \log(DpM_n)))}{n} $ 순서로 도출되었으며, $ D = n^{1/3} $ 이므로 수렴 속도의 최적성 확인.