[논문 리뷰] Structured nonlinear variable selection

Magda Gregorová, Alexandros Kalousis외 1명|arXiv (Cornell University)|2018. 05. 16.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내에서 도함수 기반 정규화를 사용하여 구조적 비선형 변수 선택을 위한 새로운 프레임워크를 제안한다. 부분 도함수를 통해 그룹 라소와 엘라스틱 넷의 비선형 대응체를 도입하며, 보편적인 보조변수 기반 알고리즘(NVSD)을 개발하여 닫힌 형식의 보조변수 연산자를 활용함으로써, 사전에 그룹 구조가 존재할 경우 기존 방법들에 비해 예측 및 변수 선택 정확도에서 뛰어난 성능을 보였다. 이는 시뮬레이션 및 실세계 데이터에서 입증되었다.

ABSTRACT

We investigate structured sparsity methods for variable selection in regression problems where the target depends nonlinearly on the inputs. We focus on general nonlinear functions not limiting a priori the function space to additive models. We propose two new regularizers based on partial derivatives as nonlinear equivalents of group lasso and elastic net. We formulate the problem within the framework of learning in reproducing kernel Hilbert spaces and show how the variational problem can be reformulated into a more practical finite dimensional equivalent. We develop a new algorithm derived from the ADMM principles that relies solely on closed forms of the proximal operators. We explore the empirical properties of our new algorithm for Nonlinear Variable Selection based on Derivatives (NVSD) on a set of experiments and confirm favourable properties of our structured-sparsity models and the algorithm in terms of both prediction and variable selection accuracy.

연구 동기 및 목표

• 목표가 입력에 대해 비선형적으로 의존하는 비선형 회귀에서의 구조적 변수 선택 문제를 해결하기 위해.
• 선형 구조적 희박성 방법(그룹 라소, 엘라스틱 넷)을 부분 도함수를 희박성 지표로 사용하여 비선형 함수로 확장하기 위해.
• 학습 문제를 RKHS 프레임워크 내에서 수립하고, 실수 최적화를 위한 유한 차원 등가 문제를 유도하기 위해.
• 닫힌 형식의 보조변수 연산자를 활용하여 근사치를 사용하지 않는 ADMM 기반 알고리즘(NVSD)을 개발하기 위해.
• 예측 정확도 및 변수 선택 성능에서의 우수성을 실증적으로 검증하기 위해, 특히 알려진 그룹 구조가 존재할 경우에 초점을 맞추어.

제안 방법

• 선형 구조적 희박성 방법에서 영감을 얻어, 부분 도함수의 L2 노름을 기반으로 한 두 가지 새로운 정규화 기반을 제안한다: 그룹 희박성용(GL)과 엘라스틱 넷 유사 정규화용(EN).
• 비선형 변수 선택 문제를 RKHS 프레임워크 내에서 수립하며, 해가 커널 함수와 그 부분 도함수의 조합으로 표현됨을 보여주는 일반화된 표현 정리(Generalized Representer Theorem)를 증명한다.
• 훈련 세트에서의 커널 전개 및 도함수 평가를 통해 무한 차원 변분 문제를 유한 차원 최적화 문제로 재구성한다.
• 모든 보조변수 연산자가 닫힌 형식으로 계산 가능한 새로운 ADMM 기반 알고리즘(NVSD)을 개발하여 정확하고 효율적인 업데이트를 가능하게 한다.
• 힐베르트 노름과 도함수 기반 정규화를 함께 사용하여 강한 볼록성과 양호한 일반화 성능를 확보하며, 소규모 검증을 통해 고정된 ν 매개변수를 설정한다.
• 두 단계 ADMM 업데이트를 수행한다: 선형 시스템을 풀고, 닫힌 형식의 보조변수 연산자를 통한 소프트 스레셔딩을 적용하며, 이중 변수를 업데이트한다.

실험 결과

연구 질문

• RQ1 부분 도함수는 비선형 회귀 모델에서 구조적 희박성을 효과적으로 유도할 수 있는가?
• RQ2 도함수 노름을 사용하여 그룹 라소와 엘라스틱 넷 정규화를 비선형 함수로 일반화할 수 있는가?
• RQ3 닫힌 형식의 보조변수 연산자를 갖는 도함수 기반 비선형 변수 선택을 위한 증명 가능하게 수렴하는 효율적 알고리즘을 설계할 수 있는가?
• RQ4 입력 변수의 사전 그룹 구조를 통합할 경우 비선형 설정에서 예측 정확도 및 선택 정확도가 향상되는가?
• RQ5 기존 방법들인 Denovas, HSIC, SpAM과 비교하여 제안된 NVSD 알고리즘이 예측 성능 및 희박성 패턴 복구 측면에서 어떻게 성능을 내는가?

주요 결과

• NVSD(GL), 즉 그룹 라소 변형은 모든 실세계 데이터셋(AI, CP, CC, KN, EL)에서 모든 기준선보다 유의미하게 높은 예측 정확도를 달성하였으며, 각각 RMSE가 4.16, 7.43, 8.79, 1.96, 4.76를 기록하였다.
• 동일한 데이터셋에서 NVSD(GL)는 지원 크기를 각각 5.00, 5.84, 8.00, 11.84, 13.82로 줄여, 더 컴act하고 관련성이 높은 변수 선택을 나타내었다.
• NVSD(L), 엘라스틱 넷 변형은 모든 실험에서 Denovas보다 예측 정확도가 뛰어나 RMSE가 낮고 더 우수한 희박성 패턴을 보였다.
• 와이크슨 부호순위 검정을 통해 5% 유의수준에서 모든 데이터셋에서 기준선 대비 통계적으로 유의미한 개선을 보였으며, 오직 하나의 데이터셋(AI)을 제외하고는 전부 해당되었다.
• NVSD에서 닫힌 형식의 보조변수 연산자를 사용함으로써, 근사 기반 방법들과 달리 알고리즘 수렴 정밀도까지 정확한 희박성 패턴 복구가 가능했다.
• 사전에 그룹 구조가 존재할 경우 알고리즘이 강건하고 뛰어난 성능을 보였으며, 이는 비선형 모델링에서 구조적 희박성의 가치를 확인시켰다.