[논문 리뷰] Feature Selection with Annealing for Big Data Learning

Adrian Barbu, Yiyuan She외 2명|arXiv (Cornell University)|2013. 10. 10.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 반복적으로 변수를 제거하는 기준과 스케줄을 사용하여 대규모 데이터에서 효율적이고 확장 가능한 학습을 가능하게 하는 안내기 기반 특징 선택 방법을 제안한다. 점차 엄격해지는 희박성 제약 조건과 추정 과정에 변수 선별을 통합함으로써 수렴성, 선택 일致성 및 최소한의 계산 오버헤드로 인해 회귀, 분류 및 랭킹 작업에서 뛰어난 성능을 보장한다.

ABSTRACT

Abstract—Many computer vision and medical imaging problems are faced with learning from large-scale datasets, with millions of observa-tions and features. In this paper we propose a novel efficient learning scheme which tightens a sparsity constraint by gradually removing variables based on a criterion and a schedule. The attractive fact that the problem size keeps dropping throughout the iterations makes it particu-larly suitable for big data learning. Our approach applies generically to the optimization of any differentiable loss function, and finds applications in regression, classification and ranking. The resultant algorithms build variable screening into estimation and are extremely simple to imple-ment. We provide theoretical guarantees of convergence and selection consistency. In addition, one dimensional piecewise linear response functions are used to account for nonlinearity and a second order prior is imposed on these functions to avoid overfitting. Experiments on real and synthetic data show that the proposed method compares very well with other state of the art methods in regression, classification and ranking while being computationally very efficient and scalable. Index Terms—feature selection, supervised learning, regression, clas-sification, ranking. 1

연구 동기 및 목표

• 수백만 개의 특징과 관측치를 포함하는 대규모 데이터셋에서의 학습 문제를 해결하기 위해.
• 컴퓨터 시각 및 의료 영상 분야의 대규모 데이터 응용에 적합한 확장성 있고 효율적인 특징 선택 방법을 개발하기 위해.
• 고차원 학습 환경에서 수렴성과 선택 일치성에 대한 이론적 보장을 확보하기 위해.
• 모델 효율성을 향상시키기 위해 변수 선별을 추정 과정에 직접 통합하기 위해.
• 조각별 선형 반응 함수를 사용해 비선형성을 고려하면서도 이차 우선 사전을 통해 과적합을 방지하기 위해.

제안 방법

• 이 방법은 선택 기준에 따라 변수를 제거하면서 점차 희박성 제약 조건을 강화하는 안내기 스케줄을 활용한다.
• 모든 미분 가능한 손실 함수에 일반적으로 적용 가능하여 회귀, 분류 및 랭킹 작업을 지원한다.
• 변수 선별이 최적화 과정에 내장되어 있어 별도의 선택 단계가 필요 없게 된다.
• 조각별 선형 반응 함수는 데이터의 비선형성을 모델링하여 유연성을 향상시킨다.
• 조각별 선형 함수에 이차 우선 사전을 적용하여 정규화하고 과적합을 방지한다.
• 반복 과정에서 각 단계마다 문제 크기를 점차 줄여 계산 효율성과 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 수백만 개의 특징과 관측치를 포함하는 대규모 데이터에 대해 특징 선택을 어떻게 효율적이고 확장 가능하게 만들 수 있는가?
• RQ2 희박성 제약이 있는 최적화 방법이 고차원 환경에서 수렴성과 선택 일치성을 동시에 확보할 수 있는가?
• RQ3 추정 과정에 변수 선별을 통합할 경우 순차적 접근 방식에 비해 성능과 효율성이 어떻게 향상되는가?
• RQ4 이차 우선 사전을 갖춘 조각별 선형 함수는 과적합을 피하면서 비선형성을 얼마나 효과적으로 모델링할 수 있는가?
• RQ5 제안된 안내기 기반 방법은 회귀, 분류 및 랭킹 작업에서 최신 기술과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 회귀, 분류 및 랭킹 작업에서 최신 기술과 비교해 뛰어난 성능을 달성한다.
• 반복 과정에서 문제 크기가 점차 감소함에 따라 높은 계산 효율성과 확장성을 보여준다.
• 제안된 프레임워크 하에서 수렴성과 선택 일치성에 대한 이론적 보장이 확립되었다.
• 이차 우선 사전을 갖춘 조각별 선형 반응 함수의 사용은 비선형성을 효과적으로 모델링하면서 과적합을 통제한다.
• 실제 및 합성 데이터에 대한 실험을 통해 다양한 학습 작업에서 방법의 강인성과 효율성이 확인되었다.
• 특징 선택을 추정 과정에 통합함으로써 구현이 단순화되고 계산 성능가 향상되었다.