[논문 리뷰] Self-Weighted Robust LDA for Multiclass Classification with Edge Classes

Caixia Yan, Xiaojun Chang외 5명|arXiv (Cornell University)|2020. 09. 24.

Face and Expression Recognition참고 문헌 63인용 수 9

한 줄 요약

이 논문은 총 평균에 의존하지 않고, 전체 평균을 대체하기 위해 쌍별 차이를 사용하며, 적응형 가중치를 갖는 ℓ₂,₁-노름 기반의 쌍별 거리 기준을 사용함으로써 외곽 클래스(극단적인 편차를 보이는 이상치 클래스)의 부정적 영향을 완화하는 새로운 다중분류 방법인 Self-Weighted Robust LDA(SWRLDA)를 제안한다. 이 방법은 빠른 수렴 속도와 뛰어난 성능을 보이며, 합성 및 실제 데이터셋 모두에서 기존 LDA 변종보다 정확도와 계산 효율성 면에서 뛰어나며, 특히 노이즈가 많거나 불균형한 조건에서도 뛰어난 성능을 발휘한다.

ABSTRACT

Linear discriminant analysis (LDA) is a popular technique to learn the most discriminative features for multi-class classification. A vast majority of existing LDA algorithms are prone to be dominated by the class with very large deviation from the others, i.e., edge class, which occurs frequently in multi-class classification. First, the existence of edge classes often makes the total mean biased in the calculation of between-class scatter matrix. Second, the exploitation of l2-norm based between-class distance criterion magnifies the extremely large distance corresponding to edge class. In this regard, a novel self-weighted robust LDA with l21-norm based pairwise between-class distance criterion, called SWRLDA, is proposed for multi-class classification especially with edge classes. SWRLDA can automatically avoid the optimal mean calculation and simultaneously learn adaptive weights for each class pair without setting any additional parameter. An efficient re-weighted algorithm is exploited to derive the global optimum of the challenging l21-norm maximization problem. The proposed SWRLDA is easy to implement, and converges fast in practice. Extensive experiments demonstrate that SWRLDA performs favorably against other compared methods on both synthetic and real-world datasets, while presenting superior computational efficiency in comparison with other techniques.

연구 동기 및 목표

• 기존 LDA 방법에서 외곽 클래스가 편향된 총 평균 추정과 ℓ₂-노름 거리 기준으로 인해 지배하는 문제를 해결하기 위해.
• 추가 매개변수 없이 최적의 평균 계산을 자동으로 피할 수 있는 강건한 LDA 변종을 개발하기 위해.
• ℓ₂,₁-노름 기반의 교차 클래스 거리 기준을 사용하여 클래스 쌍에 대한 적응형 가중치를 학습함으로써 클래스 간 분리도를 향상시키기 위해.
• 효율적인 재가중 최적화 알고리즘을 통해 빠른 수렴과 전역 최적성 보장을 확보하기 위해.
• 외곽 클래스로 인해 분류가 왜곡되는 고차원, 노이즈가 많거나 불균형한 데이터셋에서의 성능 향상

제안 방법

• 전체 평균을 쌍별 클래스 중심 간 차이로 대체함으로써 외곽 클래스에서 발생하는 편향을 제거함으로써 교차 클래스 산란 행렬을 재정의한다.
• 외곽 클래스로 인한 극단적인 거리의 영향을 줄이기 위해 ℓ₂,₁-노름 기반의 쌍별 교차 클래스 거리 기준을 사용한다.
• 수동 조정이나 추가 매개변수 없이도 각 클래스 쌍에 대한 적응형 가중치를 학습하는 자기 가중 메커니즘을 도입한다.
• 도전적인 ℓ₂,₁-노름 최대화 문제를 해결하고 전역 수렴을 달성하기 위해 재가중 최적화 알고리즘을 활용한다.
• 반복적인 재가중을 통해 최적의 투영 행렬을 유도함으로써 다양한 초기화 조건에서도 빠른 수렴과 안정성을 확보한다.
• 차원 축소 및 다중분류에 이 방법을 적용하고, 합성 및 실제 데이터셋을 통해 평가한다.

실험 결과

연구 질문

• RQ1 총 데이터 평균에 의존하지 않고 다중분류 LDA에서 외곽 클래스를 어떻게 완화할 수 있는가?
• RQ2 ℓ₂,₁-노름 기반의 거리 기준은 교차 클래스 산란 계산에서 이상치에 대해 강건성을 향상시킬 수 있는가?
• RQ3 추가 하이퍼파rameter 없이 클래스 쌍에 대한 적응형 가중치를 어떻게 자동으로 학습할 수 있는가?
• RQ4 제안된 방법은 기존의 강건한 LDA 변종보다 더 빠른 수렴 속도와 높은 분류 정확도를 달성하는가?
• RQ5 실제 응용에서 흔한 데이터 손상 또는 노이즈 조건에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• SWRLDA는 COIL20, COIL100, Isolet, 20Newsgroups, CMU PIE, YaleB 등의 합성 및 실제 데이터셋에서 최신 기법들과 비교해 유사하거나 더 높은 분류 정확도를 달성한다.
• 20Newsgroups와 같은 대규모 데이터셋에서는 다른 방법들보다 최대 15배 빠른 속도를 보이며, 뛰어난 계산 효율성을 입증한다.
• 모든 데이터셋에서 단 4회 반복 내에 수렴함으로써, 다양한 무작위 초기화 조건에서도 빠른 수렴 속도와 안정성을 보여준다.
• SWRLDA는 데이터 손상 상황에서도 매우 높은 강건성을 유지한다: CMU PIE와 YaleB에서는 클래스당 80%의 샘플이 손상된 상태에서도 성능 저하가 최소한이었으며, 경쟁 기법들보다 뚜렷한 성능 우위를 보였다.
• 50번의 무작위 초기화에서 목적 함수가 안정된 값으로 수렴함으로써, 실질적으로 전역 최적해에 도달하는 것으로 나타났다.
• 자기 가중 메커니즘이 먼 거리의 클래스 쌍(예: 외곽 클래스)을 효과적으로 낮추면서도 비외곽 클래스 간의 의미 있는 분리도를 유지함으로써, 클래스 분리 문제를 해결한다.