[논문 리뷰] Robust supervised classification and feature selection using a primal-dual method

Michel Barlaud, Antonin Chambolle외 1명|arXiv (Cornell University)|2019. 02. 05.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 8

한 줄 요약

이 논문은 허버 손실과 핵형, ℓ₂,₁ 및 ℓ₁,₂ 노름을 통한 구조적 희박성으로 고차원 데이터에서의 지도 학습 분류 및 특징 선택을 위한 강건하고 제약 조건이 있는 원본-이중 최적화 방법을 제안한다. 수렴 속도 향상과 서명 신뢰성 향상을 위해 클래스 중심의 행렬을 도입하였으며, 수학적 수렴 보장과 합성 및 생물학적 데이터에서의 뛰어난 실험 성능을 확보하였다.

ABSTRACT

This paper deals with supervised classification and feature selection in high dimensional space. A classical approach is to project data on a low dimensional space and classify by minimizing an appropriate quadratic cost. A strict control on sparsity is moreover obtained by adding an $\ell_1$ constraint, here on the matrix of weights used for projecting the data. Tuning the sparsity bound results in selecting the relevant features for supervised classification. It is well known that using a quadratic cost is not robust to outliers. We cope with this problem by using an $\ell_1$ norm both for the constraint and for the loss function. In this case, the criterion is convex but not gradient Lipschitz anymore. Another second issue is that we optimize simultaneously the projection matrix and the centers used for classification. In this paper, we provide a novel tailored constrained primal-dual method to compute jointly selected features and classifiers. Extending our primal-dual method to other criteria is easy provided that efficient projection (on the dual ball for the loss data term) and prox (for the regularization term) algorithms are available. We illustrate such an extension in the case of a Frobenius norm for the loss term. We provide a convergence proof of our primal-dual method, and demonstrate its effectiveness on three datasets (one synthetic, two from biological data) on which we compare $\ell_1$ and $\ell_2$ costs.

연구 동기 및 목표

• 고차원 데이터에서 이상치가 존재할 경우 전통적인 2차 손실 기반 분류 방법의 취약성을 해결하기 위해.
• 손실 함수에 클래스 중심의 행렬을 도입하여 수렴 속도 향상과 특징 서명의 신뢰성 향상을 위해.
• 핵형, ℓ₂,₁-노름 및 ℓ₁,₂-노름을 사용한 제약 조건 기반 설정을 통해 그룹 또는 상호 배제 특징 패턴을 유지하는 구조적 희박성을 강제하기 위해.
• ℓ₁ 및 허버 손실을 포함한 비미분 가능하고 리프시츠 조건이 없는 기준에 대해 수렴 보장을 갖춘 원본-이중 알고리즘을 개발하기 위해.
• 실제 생물학적 데이터셋과 합성 벤치마크에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 표준 프로베니우스 노름 대신 강건성을 향상시키기 위해 허버 손실 기반 목적 함수를 최소화하고, ℓ₁-정규화된 투영 행렬과 클래스 중심의 행렬을 사용한다.
• 가중치 행렬에 대해 ℓ₁ 노름을 적용한 제약 조건 기반 설정을 사용하여, ℓ₁-볼에 대한 효율적 투영을 통해 고비용의 하이퍼파rameter 튜닝을 피한다.
• 구조적 희박성은 핵형 노름(저랭크 구조), ℓ₂,₁-노름(그룹 희박성), ℓ₁,₂-노름(상호 배제 희박성) 기반 제약 조건을 통해 강제하며, 각각 전용 투영 알고리즘을 적용한다.
• 비미분 가능한 항을 다루기 위해 프oks-옵티멀러 연산자를 활용한 원본-이중 알고리즘을 개발하며, ℓ₁ 노름 계산을 이중화한다.
• 챔볼-포크 방법의 과잉 조정된 변형을 사용하며, 수렴은 기록적 반복(iterate)과 스텝 사이즈 및 리프시츠 상수에 대한 조건을 통해 증명된다.
• 허버 손실을 처리하기 위해 허버 함수의 쌍대 함수를 사용하여 손실 항을 이중화함으로써 강건성을 유지하면서도 볼록성을 확보한다.

실험 결과

연구 질문

• RQ1 손실 함수에 클래스 중심의 행렬을 도입함으로써 고차원 분류에서 수렴 속도 향상과 서명 안정성 향상이 실제로 유의미하게 향상되는가?
• RQ2 프로베니우스 노름 대신 ℓ₁ 또는 허버 손실을 사용함으로써 지도 학습 기반 특징 선택에서 이상치에 대한 강건성이 향상되는가?
• RQ3 효율적인 투영을 사용한 제약 조건 기반 원본-이중 최적화를 통해 핵형, ℓ₂,₁ 및 ℓ₁,₂-노름을 통한 구조적 희박성이 효과적으로 강제될 수 있는가?
• RQ4 ℓ₁ 및 허버 손실을 포함한 비미분 가능하고 리프시츠 조건이 없는 기준에 대해 원본-이중 방법에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ5 실제 생물학적 데이터셋과 합성 데이터셋에서 제안된 방법은 기존의 LASSO 기반 및 그룹-LASSO 방법에 비해 성능과 강건성 면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 손실 함수에 클래스 중심의 행렬(μ)을 포함시킴으로써 모든 테스트 데이터셋에서 수렴 속도가 빨라지고 선택된 특징 서명의 신뢰성이 향상되었다.
• 프로베니우스 노름 대신 허버 손실을 사용함으로써 이상치에 대한 강건성이 향상되었으며, 특히 노이즈가 많은 생물학적 데이터셋에서 수렴 속도를 유지하면서도 성능 향상이 뚜렷했다.
• 제약 조건 기반 ℓ₁ 설정은 하이퍼파rameter 튜닝이 필요 없는 표준 펜알라이즈드 LASSO보다 우수한 성능을 보였다.
• 제안된 원본-이중 알고리즘은 수렴 속도가 O(1/N)이며, 스텝 사이즈 및 문제 파라미터에 대한 온건한 조건 하에서 수렴이 보장되었다.
• 세 개인 마스스펙트로미터 데이터셋(두 개)과 두 개인 싱글셀 데이터셋에서, 제안된 방법은 기준 방법 대비 더 높은 분류 정확도와 더 안정적인 특징 선택 성능을 보였다.
• ℓ₁,₂-노름 제약 조건을 위한 새로운 투영 알고리즘은 효과적인 상호 배제 특징 선택을 가능하게 하여 각 클래스에 대해 고유한 유전자 집합을 식별하였으며, 이는 생물학적 해석에 매우 중요하다.