[논문 리뷰] Fast OSCAR and OWL Regression via Safe Screening Rules

Runxue Bao, Bin Gu외 1명|arXiv (Cornell University)|2020. 06. 29.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 8

한 줄 요약

이 논문은 순서부여된 가중 L1(OWL) 회귀에 대한 최초의 안전한 스크리닝 규칙을 제안하며, 원본 해의 순서 구조와 쌍대 갭을 활용하여 반복 전략을 통해 비활성 변수를 조기에 식별하고 제거한다. 이 방법은 정확도를 훼손하지 않은 채 계산 속도를 최대 40배 향상시키며, 배치 및 스트로스틱 프락시멀 그래디언트 방법과 모두 호환된다.

ABSTRACT

Ordered Weighted $L_{1}$ (OWL) regularized regression is a new regression analysis for high-dimensional sparse learning. Proximal gradient methods are used as standard approaches to solve OWL regression. However, it is still a burning issue to solve OWL regression due to considerable computational cost and memory usage when the feature or sample size is large. In this paper, we propose the first safe screening rule for OWL regression by exploring the order of the primal solution with the unknown order structure via an iterative strategy, which overcomes the difficulties of tackling the non-separable regularizer. It effectively avoids the updates of the parameters whose coefficients must be zero during the learning process. More importantly, the proposed screening rule can be easily applied to standard and stochastic proximal gradient methods. Moreover, we prove that the algorithms with our screening rule are guaranteed to have identical results with the original algorithms. Experimental results on a variety of datasets show that our screening rule leads to a significant computational gain without any loss of accuracy, compared to existing competitive algorithms.

연구 동기 및 목표

• 비분리된 페널티 구조로 인해 OWL 회귀에 대한 안전한 스크리닝 규칙이 부족한 문제를 해결한다.
• 각 변수의 정규화 하이퍼파rameter가 고정되어 있지 않은 OWL의 과제를 극복한다. 이는 표준 스크리닝 기법의 적용을 어렵게 한다.
• 스크리닝 규칙이 안전(유의미한 특징를 제거할 위험이 없음)하고 최적화 과정에서 계산 비용을 효과적으로 줄이는 데 기여하도록 개발한다.
• 대규모 학습에서 널리 적용 가능한 표준 및 스트로스틱 프락시멀 그래디언트 방법과의 호환성을 확보한다.
• 최종 해가 원래 알고리즘과 동일하게 유지되어 모델 정확도가 손상되지 않음을 보장한다.

제안 방법

• 중간 단계의 쌍대 갭을 기반으로 하여 계수값이 반드시 0이 되는 변수를 식별하는 새로운 안전한 스크리닝 규칙을 제안한다.
• 비분리성에도 불구하고 원본 해의 순서 구조를 탐색하기 위해 반복 전략을 사용하여 효과적인 스크리닝을 가능하게 한다.
• 스크리닝 규칙을 배치 및 스트로스틱 프락시멀 그래디언트 하강(APGD 및 SPGD) 알고리즘에 통합한다.
• 최적화 과정 중에 동적으로 스크리닝 임계값을 업데이트하기 위해 쌍대 갭을 활용하여 안전성과 날카로움을 확보한다.
• 비활성 특징을 조기에 강력하게 제거할 수 있도록 스크리닝 조건에 대한 날카로운 상한을 유도한다.
• 스크리닝된 알고리즘과 원래 알고리즘 간 이론적 동치성을 증명하여 해 품질에 손실가 없음을 보장한다.

실험 결과

연구 질문

• RQ1 비분리된 페널티와 고정되지 않은 하이퍼파rameter로 인해 OWL 회귀에 대해 안전한 스크리닝 규칙을 개발할 수 있는가?
• RQ2 원본 해의 순서 구조는 어떻게 활용되어 OWL에 대한 효과적인 스크리닝 규칙을 도출할 수 있는가?
• RQ3 스크리닝은 배치 및 스트로스틱 환경 모두에서 OWL 회귀의 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 제안된 스크리닝 규칙은 원래 알고리즘과 동일한 해와 예측 정확도를 유지하는가?
• RQ5 스크리닝 비율과 비활성 변수의 조기 제거 측면에서 이 스크리닝 규칙은 얼마나 효과적인가?

주요 결과

• 제안된 스크리닝 규칙은 대규모 데이터셋에서 원래의 APGD 및 SPGD 알고리즘 대비 최대 40배의 계산 속도 향상을 달성한다.
• 스트로스틱 환경에서는 n ≪ d일 경우 5배에서 22배, n ≈ d 또는 n ≫ d일 경우 최대 40배의 학습 가속을 경험한다.
• 비활성 변수의 스크리닝 비율은 거의 100%에 도달하며, 대부분의 경우 초기 반복 단계에서 식별되고 제거된다.
• 스크리닝된 알고리즘의 예측 오차는 원래 알고리즘과 동일하여 규칙의 안전성과 정확성을 확인한다.
• 희소성과 대규모 데이터셋에서도 효과적이며, 특히 희소한 설정에서 더 큰 성능 향상을 보인다.
• 스크리닝 규칙은 배치 및 스트로스틱 프락시멀 그래디언트 방법 모두와 호환되어 실용적 활용도가 높다.