[논문 리뷰] Discriminative Ridge Machine: A Classifier for High-Dimensional Data or Imbalanced Data

Chong Peng, Qiang Cheng|arXiv (Cornell University)|2019. 04. 16.

Face and Expression Recognition참고 문헌 76인용 수 6

한 줄 요약

이 논문은 구조적 정규화 항을 통해 클래스 간 분류 정보를 명시적으로 통합함으로써 리지 회귀를 향상시킨 새로운 분류기인 분류적 리지 기계(DRM)를 제안한다. DRM은 고차원 및 불균형 데이터에서 뛰어난 성능을 보이며, 소규모 데이터에는 해석적 해를 제공하고 대규모 데이터에는 세 가지 효율적인 반복 알고리즘을 사용한다. 이는 SVM 및 KRR와 같은 최신 기법들을 능가한다.

ABSTRACT

We introduce a discriminative regression approach to supervised classification in this paper. It estimates a representation model while accounting for discriminativeness between classes, thereby enabling accurate derivation of categorical information. This new type of regression models extends existing models such as ridge, lasso, and group lasso through explicitly incorporating discriminative information. As a special case we focus on a quadratic model that admits a closed-form analytical solution. The corresponding classifier is called discriminative regression machine (DRM). Three iterative algorithms are further established for the DRM to enhance the efficiency and scalability for real applications. Our approach and the algorithms are applicable to general types of data including images, high-dimensional data, and imbalanced data. We compare the DRM with currently state-of-the-art classifiers. Our extensive experimental results show superior performance of the DRM and confirm the effectiveness of the proposed approach.

연구 동기 및 목표

• 고차원 및 불균형 데이터 환경에서 기존 분류기인 KNN 및 SVM의 한계를 해결한다.
• 근접 이웃 방법의 분류 정보 부족 문제를 극복하기 위해 회귀 프레임워크에 클래스 수준의 감독 정보를 통합한다.
• 클래스 간 분離성과 클래스 내 밀집도를 명시적으로 고려하는 새로운 분류적 리지 회귀 모델의 가족을 개발한다.
• 대규모 고차원 및 불균형 데이터 응용에 적합한 확장 가능하고 효율적인 분류기를 설계한다.
• 제안된 방법이 기존 최신 기법보다 정확도와 강인성 면에서 뛰어나다는 이론적 및 실증적 증거를 확립한다.

제안 방법

• 클래스별 분류 정보를 구조적 정규화 항 $ S_w(w) $ 를 통해 통합함으로써 리지, 라소, 그룹 라소를 확장한 분류적 리지 회귀 모델을 제안한다.
• DRM을 특수한 경우로 간주하여 이차 최적화 목표 함수를 설정하고, 이는 소규모 또는 고차원 데이터셋에서 빠른 추론을 가능하게 하는 분석적 해를 제공한다.
• 대규모 데이터를 위한 세 가지 반복 최적화 알고리즘을 도입하며, 선형 커널을 사용할 경우 표본 수에 대해 선형 계산 비용을 보장하고 전역 수렴성이 입증되어 있다.
• 이진 레이블이 아닌 연속적인 유사도 벡터를 통한 소프트 레이블 감독을 사용하여 기존 KNN보다 richer한 표현 학습을 가능하게 한다.
• 행렬 $ B $ 를 통한 클래스 가중치 조정을 통해 작은 클래스에 더 높은 가중치를 할당함으로써 클래스 불균형을 보완한다.
• 식 (11)의 결정 규칙을 적용하여 최대 사후 확률을 가진 클래스를 선택함으로써 기하학적으로 해석 가능한 분류 경계를 제공한다.

실험 결과

연구 질문

• RQ1 리지 회귀 프레임워크에 명시적인 분류 정보를 통합함으로써 고차원 데이터에서의 분류 성능 향상을 달성할 수 있는가?
• RQ2 클래스별 분류 정보를 가진 정규화 항 $ S_w(w) $ 를 포함함으로써 표준 리지 회귀 또는 KRR에 비해 모델의 정확도와 강인성에 어떤 영향을 미치는가?
• RQ3 데이터 수준의 샘플링 기법에 의존하지 않고도 DRM이 불균형 데이터셋에서 높은 정확도와 확장 가능성을 유지할 수 있는 정도는 어느 정도인가?
• RQ4 대규모 데이터에서 DRM을 위한 반복 알고리즘의 계산 효율성과 수렴 행동은 어떠한가?
• RQ5 불균형 및 고차원 벤치마크에서 DRM이 SVM 및 KRR와 같은 최신 기법과 정밀도, 재현율, F1 점수 측면에서 어떻게 비교되는가?

주요 결과

• DRM은 표준 대규모 데이터셋에서 SVM과 유사한 분류 정확도를 달성하여 일반화 능력을 확인한다.
• 고차원 데이터에서 DRM은 분류적 정규화 덕분에 SVM 및 KRR와 같은 최신 기법들을 뛰어넘는 성능을 보인다.
• 불균형 데이터에서는 데이터 수준의 샘플링 기법 없이도 강력한 성능을 유지하며, SMOTE와 같은 기법과 조합할 경우 성능이 더욱 향상된다.
• 제거 실험을 통해 분류적 항목 $ S_w(w) $ 가 핵심임을 확인하였다: DRM은 모든 $ \beta $ 값과 커널 유형(RBF 및 다항식)에서 KRR를 일관되게 능가한다.
• 선형 DRM과 반복 알고리즘은 표본 수에 대해 선형 계산 비용을 가지며 전역 수렴성을 보이며, 선형 SVM만큼 효율적이면서도 더 높은 정확도를 제공한다.
• DRM의 해석적 해는 소규모 또는 고차원 데이터셋에서 빠르고 정확한 추론을 가능하게 하여 실시간 및 자원 제약 조건이 있는 응용에 적합하다.