[논문 리뷰] GEP-MSCRA for computing the group zero-norm regularized least squares estimator

Shujun Bi, Shaohua Pan|arXiv (Cornell University)|2018. 04. 26.

Sparse and Compressive Sensing Techniques참고 문헌 7인용 수 3

한 줄 요약

이 논문은 MPEC의 전역 정확 페널티 재구성에 기반한 다단계 볼록 완화 알고리즘인 GEP-MSCRA를 제안한다. 이는 그룹 제로노름 정규화 최소제곱 추정량을 계산하기 위한 것이다. 제한 강력 볼록성 조건 하에서 이론적 보장을 확립하고, 합성 및 실제 다중 작업 학습 데이터에서 SLEP 및 MALSAR에 비해 예측 오차 감소와 그룹 스파arsity 달성에서 뛰어난 성능을 보인다.

ABSTRACT

This paper concerns with the group zero-norm regularized least squares estimator which, in terms of the variational characterization of the zero-norm, can be obtained from a mathematical program with equilibrium constraints (MPEC). By developing the global exact penalty for the MPEC, this estimator is shown to arise from an exact penalization problem that not only has a favorable bilinear structure but also implies a recipe to deliver equivalent DC estimators such as the SCAD and MCP estimators. We propose a multi-stage convex relaxation approach (GEP-MSCRA) for computing this estimator, and under a restricted strong convexity assumption on the design matrix, establish its theoretical guarantees which include the decreasing of the error bounds for the iterates to the true coefficient vector and the coincidence of the iterates after finite steps with the oracle estimator. Finally, we implement the GEP-MSCRA with the subproblems solved by a semismooth Newton augmented Lagrangian method (ALM) and compare its performance with that of SLEP and MALSAR, the solvers for the weighted $\ell_{2,1}$-norm regularized estimator, on synthetic group sparse regression problems and real multi-task learning problems. Numerical comparison indicates that the GEP-MSCRA has significant advantage in reducing error and achieving better sparsity than the SLEP and the MALSAR do.

연구 동기 및 목표

• 비볼록 제로노름으로 인해 조합적으로 어려운 그룹 제로노름 정규화 최소제곱 추정량을 위한 계산 가능 방법을 개발하는 것.
• 제로노름의 변동 특성으로 유도된 MPEC에 대한 전역 정확 페널티 재구성 방법을 수립하여 유리한 이차형식을 가진 구조를 갖는 정확 페널티 적용을 가능하게 하는 것.
• SCAD 및 MCP와 같은 동일한 DC 추정량을 제공하는 다단계 볼록 완화 방법(GEP-MSCRA)을 제안하고, 이론적 수렴 보장을 제공하는 것.
• 합성 및 실제 다중 작업 학습 문제에서 GEP-MSCRA의 예측 정확도 및 그룹 스파arsity 측면에서 SLEP 및 MALSAR에 비해 뛰어난 성능을 경험적으로 검증하는 것.

제안 방법

• 제로노름의 변동 특성을 활용하여 그룹 제로노름 정규화 최소제곱 추정량을 등차 제약 조건을 가진 수학적 프로그래밍(MPEC)으로 재구성한다.
• MPEC에 대한 전역 정확 페널티를 개발하여 비볼록 문제를 유리한 이차형식을 지닌 단일 비볼록 프로그램으로 변환한다.
• 정확 페널티 재구성에서 유도된 볼록 부분문제를 반복적으로 해결하는 다단계 볼록 완화 알고리즘인 GEP-MSCRA를 제안한다.
• 각 부분문제를 고정밀도 및 빠른 수렴 성능를 갖는 비선형 뉴턴 증강 라그랑주 방법(ALM)을 사용하여 해결한다.
• 정확 페널티 문제와 SCAD 및 MCP 추정량 간의 연결 고리를 활용하여, 완화를 통해 동일한 해를 도출할 수 있도록 한다.
• 수치 실험에서 온난 시작 전략을 활용하여 각 $λ$-문제를 이전 $λ$-값의 해로 초기화하여 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 그룹 제로노름 정규화 최소제곱 추정량은 전역 정확 페널티 문제로 재구성되어 효율적인 계산이 가능한가?
• RQ2 제한 강력 볼록성 조건 하에서 제안된 GEP-MSCRA 알고리즘이 오라클 추정량으로 이론적으로 수렴하는가?
• RQ3 합성 및 실제 다중 작업 학습 문제에서 GEP-MSCRA는 예측 오차와 그룹 스파arsity 측면에서 SLEP 및 MALSAR에 비해 어떻게 비교되는가?
• RQ4 GEP-MSCRA의 성능는 초기화에 얼마나 민감한가? MALSAR의 온난 시작 의존성과 비교해 볼 때 어떻게 되는가?
• RQ5 정확 페널티 재구성은 SCAD 및 MCP 추정량의 계산을 하나의 프레임워크 안에서 통합할 수 있는가?

주요 결과

• MALSAR가 온난 시작을 사용하지 않을 경우 GEP-MSCRA는 최소 20% 이상의 예측 오차 감소를 달성하며, 온난 시작을 사용하는 경우에도 성능이 동일하거나 이를 초월한다.
• GEP-MSCRA의 예측 오차는 학습 샘플 크기가 증가함에 따라 감소하는 반면, MALSAR의 오차는 증가하거나 향상되지 않으며, 특히 학습에 35% 미만의 데이터만 사용할 경우 두드러진다.
• 모든 테스트된 학습 샘플 크기에서 GEP-MSCRA는 활성 그룹 수가 5개 이하로 그룹 스파arsity를 달성하지만, MALSAR는 동일한 조건에서 그룹 스파스 해를 도출하지 못한다.
• GEP-MSCRA의 해는 초기화에 대해 강건하며, $x^0 = 0$에서 시작하더라도 성능 저하가 발생하지 않아, MALSAR와 달리 온난 시작에 크게 의존하지 않는다.
• 제한 강력 볼록성 조건 하에서 GEP-MSCRA의 반복 수렴값은 진짜 계수 벡터로 향해 오차 경계가 감소하며, 유한한 단계 이후 오라클 추정량과 일치한다.
• 정확 페널티 재구성은 SCAD 및 MCP 추정량도 동일한 전역 정확 페널티 프레임워크에서 유도됨을 드러내어 통합적인 계산 및 이론적 기반을 확립한다.