[논문 리뷰] Dynamic Sasvi: Strong Safe Screening for Norm-Regularized Least Squares

Hiroaki Yamada, Makoto Yamada|arXiv (Cornell University)|2021. 02. 08.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 Fenchel-Rockafellar 쌍대성에 기반하여 더 강력하고 문제에 적응적인 특징 제거가 가능한, 노름 정규화된 최소 제곱 문제를 위한 새로운 동적 안전 스크리닝 규칙인 Dynamic Sasvi를 제안한다. 정확한 해를 요구하지 않으며, 더 강한 정규화된 문제의 정확한 해를 필요로 하지 않아도 되는 점이 특징이다. 이는 이론적·실제적으로 기존의 Gap Safe 방법보다 더 이르게 더 많은 특징을 제거하고, 해법기의 속도를 크게 향상시킨다.

ABSTRACT

A recently introduced technique for a sparse optimization problem called "safe screening" allows us to identify irrelevant variables in the early stage of optimization. In this paper, we first propose a flexible framework for safe screening based on the Fenchel-Rockafellar duality and then derive a strong safe screening rule for norm-regularized least squares by the framework. We call the proposed screening rule for norm-regularized least squares "dynamic Sasvi" because it can be interpreted as a generalization of Sasvi. Unlike the original Sasvi, it does not require the exact solution of a more strongly regularized problem; hence, it works safely in practice. We show that our screening rule can eliminate more features and increase the speed of the solver in comparison with other screening rules both theoretically and experimentally.

연구 동기 및 목표

• Fenchel-Rockafellar 쌍대성에 기반한 일반화 가능하고 영향력 있는 안전 스크리닝 프레임워크를 개발하는 것.
• 보조 문제의 정확한 해를 요구하지 않으면서도 실질적으로 안전하게 작동하는, 순차적 Sasvi 방법을 일반화한 동적 스크리닝 규칙인 Dynamic Sasvi를 유도하는 것.
• 기존의 동적 스크리닝 방법들인 Gap Safe Sphere와 Gap Safe Dome보다 스크리닝 능력과 계산 효율성을 향상시키는 것.
• 계산 비용은 낮추되, 거의 동일한 스크리닝 성능을 보이는 Dynamic Sasvi의 완화된 변종인 Dynamic EDPP를 제안하는 것.

제안 방법

• 프레임워크는 Fenchel-Rockafellar 쌍대성에 기반하여, 볼록 최적화 문제에 대한 일반적인 안전 스크리닝 영역 유도를 가능하게 한다.
• Dynamic Sasvi는 Sasvi 규칙의 동적 변종으로서 유도되며, 변분 부등식과 문제에 적응적인 부등식을 통해 정의된 이중 탇행 영역을 사용한다.
• 반복 최적화 과정 중에 이중 해가 원래 변수가 0이 되는 것을 보장하는 영역 외부에 있는지 확인함으로써 특징을 동적으로 스크리닝한다.
• 정확한 스크리닝 영역 대신 최소 반경의 구를 사용하여 Dynamic Sasvi의 완화된 변종인 Dynamic EDPP를 도입함으로써 계산 오버헤드를 감소시킨다.
• 스크리닝 규칙은 좌표 강하 과정 중에 반복적으로 적용되며, 이중 갭과 투영 기반 기준에 기반한 특징 제거가 이루어진다.
• 이론적 보장은 모든 스크리닝된 특징이 최종 해에서 실제로 0임을 보장하여 최적성의 유지에 기여한다.

실험 결과

연구 질문

• RQ1 기존의 안전 스크리닝 기법들을 통합하고 확장할 수 있는 일반적인 쌍대성 기반 프레임워크를 개발할 수 있는가?
• RQ2 노름 정규화된 최소 제곱 문제에 대해 Gap Safe Sphere와 Gap Safe Dome보다 더 강력한 동적 스크리닝 규칙을 설계할 수 있는가?
• RQ3 제안된 Dynamic Sasvi 규칙은 최신 동적 스크리닝 방법보다 더 많은 특징을 제거하고 해법기를 더 효과적으로 가속화하는가?
• RQ4 완화된 Dynamic EDPP 변종은 정확한 Dynamic Sasvi와 비교해 스크리닝 능력과 계산 비용 면에서 어떻게 다른가?

주요 결과

• 이론적 분석과 실제 데이터셋에 대한 실험 평가에서, Dynamic Sasvi는 Gap Safe Sphere와 Gap Safe Dome보다 더 많은 특징을 제거한다.
• Leukemia 데이터셋에서 λ = 10^8일 때, Dynamic Sasvi는 -0.987 ± 0.057의 상대적 가속 비율을 기록했으며, 이는 Gap Safe Sphere의 -0.907 ± 0.066보다 뚜렷이 뛰어나다.
• 20newsgroup 데이터셋에서 λ = 10^8일 때, Dynamic Sasvi는 -0.604 ± 0.023의 상대적 가속 비율을 기록했으며, 이는 다시 한 번 Gap Safe Sphere의 -0.572 ± 0.024를 능가한다.
• Dynamic EDPP는 Dynamic Sasvi와 거의 동일한 스크리닝 성능을 보였지만, 계산 비용이 더 낮아 실용적인 대안이 된다.
• Leukemia와 20newsgroup 데이터셋 전반에서 Lasso 경로 계산의 평균 계산 시간은 Dynamic Sasvi와 Dynamic EDPP를 사용할 경우 Gap Safe 방법보다 뚜렷이 감소했다.
• 제안된 프레임워크는 Gap Safe와 Sasvi를 모두 일반화하며, 기존 방법들의 통합적 유도를 가능하게 하고 더 강력하고 적응적인 스크리닝 규칙의 도입을 가능하게 한다.