[논문 리뷰] Simultaneous Safe Screening of Features and Samples in Doubly Sparse Modeling

Atsushi Shibagaki, Masayuki Karasuyama외 2명|arXiv (Cornell University)|2016. 02. 08.

Probabilistic and Robust Engineering Design참고 문헌 23인용 수 16

한 줄 요약

이 논문은 이중 희박 모델에서 비활성 특징과 샘플을 동시에 안전하게 선별하는 새로운 방법을 제안한다. 이는 원래 공간과 쌍대 공간에서 반복적인 이중성 갭 기반 경계를 활용한다. 특징과 샘플 선별 간의 상호보완적 작용을 이용함으로써 최적성의 손실 없이 대규모 희박 학습을 크게 가속화하며, 고차원 데이터셋에 대한 광범위한 실험을 통해 검증되었다.

ABSTRACT

The problem of learning a sparse model is conceptually interpreted as the process of identifying active features/samples and then optimizing the model over them. Recently introduced safe screening allows us to identify a part of non-active features/samples. So far, safe screening has been individually studied either for feature screening or for sample screening. In this paper, we introduce a new approach for safely screening features and samples simultaneously by alternatively iterating feature and sample screening steps. A significant advantage of considering them simultaneously rather than individually is that they have a synergy effect in the sense that the results of the previous safe feature screening can be exploited for improving the next safe sample screening performances, and vice-versa. We first theoretically investigate the synergy effect, and then illustrate the practical advantage through intensive numerical experiments for problems with large numbers of features and samples.

연구 동기 및 목표

• 특징과 샘플이 모두 많을 때 발생하는 대규모 희박 학습의 계산 병목 현상을 해결하기 위해.
• 안전한 선별을 통해 비활성 특징과 샘플을 동시에 식별하는 통합 프레임워크를 개발하여 잘못된 제거(false negative)가 없도록 보장하기 위해.
• 특징 선별과 샘플 선별 간의 상호보완적 작용을 활용하여 개별 방법을 초월한 선별 성능 향상을 위해.
• 효율적인 이중 희박 모델링 최적화를 위한 이론적 보장과 실용적 알고리즘을 제공하기 위해.

제안 방법

• 이중 공간에서의 안전한 특징 선별과 원 공간에서의 안전한 샘플 선별을 반복적으로 수행하며, 이중성 갭 기반 경계를 활용한다.
• 최적 해 영역을 추정하기 위해 원-쌍대 타당해의 쌍을 이용해 이중 변수와 원 변수에 대한 하한 및 상한을 구축한다.
• KKT 최적성 조건을 이용해 특징이나 샘플이 반드시 비활성임을 보장하는 조건을 유도한다.
• 특징 선별의 경우 이중 해의 경계가 $ w_j^* = 0 $ 를 암시하는지 확인하고, 샘플 선별의 경우 $ \alpha_i^* \notin \{0, \pm1\} $ 인지 확인한다.
• 원 공간과 이중 공간의 선별 단계를 번갈아 가며 반복적으로 개선함으로써 안전한 제거 영역을 넓힌다.
• 강한 볼록성 조건 하에서, 스무드 허프 허프 손실을 갖는 SVM과 $ \varepsilon $-감성 손실을 갖는 회귀 모델 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 특징과 샘플에 대한 안전한 선별이 이중 희박 모델에서 선별 성능을 향상시키기 위해 효과적으로 통합될 수 있는가?
• RQ2 특징 선별과 샘플 선별 간의 상호작용이 비활성 특징과 샘플의 안전한 제거 수를 증가시키는 상호보완적 효과를 낳는가?
• RQ3 이중성 갭 기반 경계를 어떻게 활용하여 원 공간과 이중 공간에서 동시에 안전한 선별 영역을 구성할 수 있는가?
• RQ4 희박 학습의 맥락에서 특징 선별과 샘플 선별 간의 상호보완적 효과에 대한 이론적 근거는 무엇인가?
• RQ5 실제로 개별 특징 또는 샘플 선별 방법과 비교할 때, 제안된 방법은 선별 속도와 모델 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 최적화 이전에 대규모 특징과 샘플을 안전하게 제거함으로써 대규모 희박 모델의 학습 속도를 크게 향상시킨다.
• 특징 선별과 샘플 선별 간의 상호보완적 작용은 누적적인 향상을 이끈다: 각 선별 단계가 다음 단계의 성능을 향상시켜 관련성이 없는 성분을 더 적극적으로 제거한다.
• 이론적 분석은 이중 공간에서의 안전한 선별(특징용)과 원 공간에서의 안전한 선별(샘플용)이 최적성 손실 없이 반복적으로 통합될 수 있음을 확인한다.
• 수치 실험 결과, 고차원 데이터셋에서 동시 선별 접근법이 개별 선별 방법보다 선별 비율과 실행 시간 단축 측면에서 뛰어난 성능을 보였다.
• 이 방법은 잘못된 제거가 없음을 보장한다 — 비활성 특징과 샘플은 절대 잘못 제거되지 않으며, 해의 최적성이 유지된다.
• 적절한 강한 볼록성 조건 하에서, 스무드 허프 허프 손실과 $ \varepsilon $-감성 손실을 포함한 다양한 손실 함수에 대해 효과적이다.