[논문 리뷰] Classification with Sparse Overlapping Groups

Nikhil Rao, Robert D. Nowak외 2명|arXiv (Cornell University)|2014. 02. 18.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 8

한 줄 요약

이 논문은 유사도 기반으로 중첩되는 그룹에서 특징을 선택함으로써 구조적 희박성(structured sparsity)을 가능하게 하는 볼록 최적화 프레임워크인 희박한 오버랩핑 그룹(Sparse Overlapping Group, SOG) 라소를 소개한다. 이는 고차원 분류에서 라소와 그룹 라소를 일반화하면서도, fMRI, MEG 및 유전자 발현 작업에서 실제 및 합성 데이터에서 뛰어난 성능을 보이며, 분류에 대한 스파스한 그룹 라소에 대한 첫 번째 모델 선택 오차 경계를 수립한다.

ABSTRACT

Classification with a sparsity constraint on the solution plays a central role in many high dimensional machine learning applications. In some cases, the features can be grouped together so that entire subsets of features can be selected or not selected. In many applications, however, this can be too restrictive. In this paper, we are interested in a less restrictive form of structured sparse feature selection: we assume that while features can be grouped according to some notion of similarity, not all features in a group need be selected for the task at hand. When the groups are comprised of disjoint sets of features, this is sometimes referred to as the "sparse group" lasso, and it allows for working with a richer class of models than traditional group lasso methods. Our framework generalizes conventional sparse group lasso further by allowing for overlapping groups, an additional flexiblity needed in many applications and one that presents further challenges. The main contribution of this paper is a new procedure called Sparse Overlapping Group (SOG) lasso, a convex optimization program that automatically selects similar features for classification in high dimensions. We establish model selection error bounds for SOGlasso classification problems under a fairly general setting. In particular, the error bounds are the first such results for classification using the sparse group lasso. Furthermore, the general SOGlasso bound specializes to results for the lasso and the group lasso, some known and some new. The SOGlasso is motivated by multi-subject fMRI studies in which functional activity is classified using brain voxels as features, source localization problems in Magnetoencephalography (MEG), and analyzing gene activation patterns in microarray data analysis. Experiments with real and synthetic data demonstrate the advantages of SOGlasso compared to the lasso and group lasso.

연구 동기 및 목표

• 전통적인 라소와 그룹 라소의 한계를 보완하기 위해 유사한 특징 그룹 간의 중첩을 허용함으로써 구조적 희박성을 가능하게 하는 고차원 분류 문제에 대응한다.
• 실제 세계의 상황을 반영하기 위해 그룹 내에서 부분 선택이 가능한 융통성 있는 특징 선택 방법을 개발한다.
• 스 parser 중첩 그룹 라소를 사용한 분류에서 모델 선택 오차에 대한 이론적 보장을 제공한다.
• fMRI, MEG 및 유전자 마이크로어레이 분석과 같이 특징이 자연스럽게 중첩 그룹을 이룰 수 있는 응용 분야에서 방법의 효과성을 입증한다.

제안 방법

• 라소와 중첩 그룹 라소 페널티를 조합한 볼록 프로그램인 SOGlasso 최적화 프레임워크를 제안하여 유사하고 중첩되는 특징 그룹 간의 희박성을 유도한다.
• 각 그룹 내 계수의 l1 노름과 그룹 간의 l2 노름을 페널티로 사용하는 혼합 노름 페널티를 적용하여 부분 그룹 선택이 가능하도록 한다.
• 가우스 너비와 측도 집중 기법을 사용하여 모델 선택 오차 경계를 유도하며, 공분산 행렬 Σ를 통해 특징 상관관계를 고려한다.
• 라소와 그룹 라소에 대한 기존 결과로 특별화되는 경계를 수립하여 프레임워크의 일반성과 일관성을 검증한다.
• 설계 행렬을 공분산 행렬의 제곱근을 사용해 변환함으로써 상관관계가 있는 특징에 최적화된 방법을 도입하여 통계적 성질을 유지한다.
• 해결책이 공분산 행렬의 제곱근으로 스케일링된 제약 조건 집합 하에서 유도되도록 제약 최적화 형식을 적용하여 상관관계에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 특징이 중첩 집합으로 그룹화되어 있을 때, 중첩된 특징 그룹을 기반으로 구조적 희박한 특징 선택을 수행할 수 있는 볼록 최적화 프레임워크를 설계할 수 있는가?
• RQ2 특히 고차원 설정에서, 중첩 그룹 라소를 사용한 분류에 대해 어떤 이론적 오차 경계를 수립할 수 있는가?
• RQ3 SOGlasso 방법은 라소와 그룹 라소에 비해 모델 선택 정확도와 특징 복원 능력에서 어떻게 비교되는가?
• RQ4 SOGlasso 프레임워크는 fMRI 및 유전자 발현 데이터와 같이 실세계 데이터에서 상관관계가 있는 특징을 다룰 수 있도록 일반화될 수 있는가?
• RQ5 자연스러운 그룹 구조가 존재하는 응용 분야에서 SOGlasso 방법은 이론적 일관성을 유지하고 해석 가능성을 향상시키는가?

주요 결과

• SOGlasso 프레임워크는 스파스한 오버랩핑 그룹 라소를 사용한 분류에 대해 첫 번째 모델 선택 오차 경계를 확보하여 그 사용에 대한 이론적 근거를 제공한다.
• 오차 경계는 라소와 그룹 라소에 대한 기존 결과로 특별화되며, 프레임워크의 일관성과 일반성을 확인한다.
• 이론적 분석에 따르면, 필요한 샘플 수는 공분산 행렬의 조건수, 그룹 수, 그리고 그룹 수의 로그에 비례함을 보여준다.
• 실제 및 합성 데이터에 대한 경험적 결과는 SOGlasso가 라소와 그룹 라소보다 특징 선택 정확도와 분류 성능에서 뛰어남을 입증한다.
• 특징이 경로상 유전자 또는 뇌 네트워크의 볼륨소스와 같이 중첩 그룹을 이루는 경우, 관련 특징을 효과적으로 복원하여 해석 가능성을 향상시킨다.
• 공분산 행렬의 제곱근을 사용해 설계 행렬을 변환함으로써 특징 상관관계를 고려한 분석을 수행하여 현실적인 데이터 조건에서 더 날카운 오차 경계를 도출한다.