[논문 리뷰] LassoNet: A Neural Network with Feature Sparsity

Ismael Lemhadri, Feng Ruan외 2명|arXiv (Cornell University)|2019. 07. 29.

Statistical Methods and Inference참고 문헌 60인용 수 59

한 줄 요약

LassoNet는 글로벌 특성 선택을 가능하게 하고 희소한 특성 부분집합의 정규화 경로를 생성하기 위해 계층적 제약을 가진 스킵(잔차) 계층을 신경망에 추가합니다.

ABSTRACT

Much work has been done recently to make neural networks more interpretable, and one obvious approach is to arrange for the network to use only a subset of the available features. In linear models, Lasso (or $\ell_1$-regularized) regression assigns zero weights to the most irrelevant or redundant features, and is widely used in data science. However the Lasso only applies to linear models. Here we introduce LassoNet, a neural network framework with global feature selection. Our approach enforces a hierarchy: specifically a feature can participate in a hidden unit only if its linear representative is active. Unlike other approaches to feature selection for neural nets, our method uses a modified objective function with constraints, and so integrates feature selection with the parameter learning directly. As a result, it delivers an entire regularization path of solutions with a range of feature sparsity. On systematic experiments, LassoNet significantly outperforms state-of-the-art methods for feature selection and regression. The LassoNet method uses projected proximal gradient descent, and generalizes directly to deep networks. It can be implemented by adding just a few lines of code to a standard neural network.

연구 동기 및 목표

• 비선형 환경에서 선형 Lasso의 한계를 다루고 신경망에서 특징 선택을 동기화한다.
• 스킵-레이어 메커니즘을 통해 특성 희소성을 강제하는 신경망 프레임워크를 소개한다.
• 새로운 Hier-Prox 절차를 포함한 근접-경사 최적화를 개발하여 모델을 훈련한다.
• 특성 희소성에 대한 정규화 경로를 제공하고 계산 효율성을 입증한다.
• 실제 데이터셋에서 최첨단 특징 선택 방법에 비해 실험적으로 우수함을 보인다.

제안 방법

• 경험적 손실과 스킵-레이어 가중치(θ)에 대한 l1 페널티를 결합한 목표를 정의한다.
• 계층적 제약을 통해 첫 레이어 가중치 W^(1)와 스킵 가중치 간의 연결 ||W^(1)_j||_infty ≤ M |theta_j|를 부과하여 위계성을 강제한다.
• 표준 그라디언트 단계에 이어 특징마다 계층적 근접 업데이트(Hier-Prox)를 수행하는 2단계 학습.
• dense에서 sparse 솔루션으로의 정규화 경로를 추적하는 워름 스타트 전략을 구현한다.
• Hier-Prox가 특징별로 분해되고 O(p log p) 복잡도를 가진다는 것을 증명한다.
• 공유 특성 선택을 위한 Group-Hier-Prox를 통해 감독되지 않는 설정으로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 신경망을 훈련시켜 전역 특성 선택을 수행하면서 예측력을 보존할 수 있는가?
• RQ2 계층적 희소성 제약이 특성 부분집합에 대한 제어 가능한 정규화 경로를 제공하는가?
• RQ3 신경망에서 계층화를 효율적으로 강제하기 위해 근접 그래디언트 방법을 어떻게 적응시킬 수 있는가?
• RQ4 LassoNet은 기존 특징 선택 방법에 비해 정확도와 특성 단순성에서 어떤 실질적 이점을 보이는가?
• RQ5 LassoNet을 비지도 학습과 행렬 완성 작업으로 확장할 수 있는가?

주요 결과

• LassoNet은 다양한 실제 데이터 세트에서 종종 최첨단 특징 선택 방법을 능가한다.
• 이 방법은 높은 예측 정확도를 유지하면서 해석 가능한 특징 부분집합을 산출한다.
• 정규화 경로는 특징 희소성과 성능 간의 제어 가능한 트레이드를 제공한다.
• Dense-to-sparse 워밍 스타트는 일반화를 개선하고 나쁜 최소점을 피한다.
• Hier-Prox는 근사 하위 문제에서 글로벌 최적성을 달성하고 O(p log p)로 확장된다.
• 감독되지 않는 학습 및 행렬 완성으로의 확장은 프레임워크의 다재다능함을 보여준다.