[논문 리뷰] Robust Learning with Kernel Mean p-Power Error Loss

Badong Chen, Lei Xing외 3명|arXiv (Cornell University)|2016. 12. 21.

Machine Learning and ELM참고 문헌 24인용 수 9

한 줄 요약

이 논문은 임의의 p-거듭제곱 오차 손실을 允허하는 correntropy를 일반화한 커널 공간 내 비제곱통계 측도인 커널 평균 p-거듭제곱 오차(KMPE)를 소개한다. ELM과 주성분 분석에 KMPE를 손실 함수로 적용함으로써 저자들은 ELM-KMPE와 PCA-KMPE를 개발하였으며, 이는 비정규 잡음과 이방성 값이 존재하는 경우에도 우수한 강건성과 성능을 보였다. 이는 합성 및 기준 데이터셋에서 입증되었다.

ABSTRACT

Correntropy is a second order statistical measure in kernel space, which has been successfully applied in robust learning and signal processing. In this paper, we define a nonsecond order statistical measure in kernel space, called the kernel mean-p power error (KMPE), including the correntropic loss (CLoss) as a special case. Some basic properties of KMPE are presented. In particular, we apply the KMPE to extreme learning machine (ELM) and principal component analysis (PCA), and develop two robust learning algorithms, namely ELM-KMPE and PCA-KMPE. Experimental results on synthetic and benchmark data show that the developed algorithms can achieve consistently better performance when compared with some existing methods.

연구 동기 및 목표

• 기계 학습에서 비정규 잡음과 이방성 값을 다루는 데에 제곱통계 손실 함수(MSE 및 correntropy)의 한계를 해결하기 위해.
• p-값을 임의로 허용하는 커널 공간 내 일반화된 비제곱통계 측도인 커널 평균 p-거듭제곱 오차(KMPE)를 제안하기 위해.
• 극단적 학습 기계와 주성분 분석에 KMPE를 손실 함수로 통합하여 강건한 학습 알고리즘인 ELM-KMPE와 PCA-KMPE를 개발하기 위해.
• 재구성, 분류, 군집, 얼굴 복원 작업에서 기존의 강건한 방법들과의 비교를 통해 KMPE 기반 알고리즘의 우수성을 경험적으로 검증하기 위해.

제안 방법

• KMPE를 커널 공간 내 오차의 p차 모멘트로 정의하여, p=2일 때 correntropic 손실(C-Loss)을 일반화한다.
• 메르센 커널을 사용하여 데이터를 재생가능 커널 힐베르트 공간(RKHS)로 매핑함으로써 국소 유사성 기반 학습을 가능하게 한다.
• 반복 가중 최소 제곱법 또는 기울기 기반 방법을 사용하여 KMPE 손실을 최소화함으로써 ELM-KMPE 및 PCA-KMPE의 최적화 절차를 유도한다.
• 모든 ELM 및 PCA 프레임워크에서 비선형 특징 학습을 가능하게 하면서도 계산 효율성을 유지하기 위해 커널 트릭을 적용한다.
• 가우시안 커널을 사용하여 RKHS를 유도하고, 대역폭 선택을 통해 이웃성 민감도를 제어한다.
• 기존의 손실 함수(MSE 또는 분산 최대화 등)를 커널 공간 내의 p-거듭제곱 오차로 대체함으로써 KMPE를 ELM 및 PCA에 통합한다.

실험 결과

연구 질문

• RQ1 커널 공간 내 일반화된 비제곱통계 손실 함수인 KMPE는 표준 correntropy나 MSE에 비해 이방성 값과 비정규 잡음에 대해 더 강건한가?
• RQ2 KMPE 손실에서 p의 선택이 다양한 수준의 잡음과 오염 상황에서 ELM 및 PCA의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 KMPE 기반 학습 프레임워크는 L1-PCA, R1-PCA, HQ-PCA, PCA-GM와 같은 기존의 강건한 방법들보다 실제 데이터에서 이방성 값이 존재하는 경우에 더 뛰어나게 성능을 발휘하는가?
• RQ4 KMPE는 고차원이고 잡음이 많은 데이터 세트인 MNIST와 Yale Face에서 군집 및 분류 정확도를 어느 정도 향상시키는가?

주요 결과

• MNIST 숫자 데이터에서 ELM-KMPE는 표준 ELM 및 기타 강건한 변종들보다 높은 분류 정확도를 달성하였으며, 특히 잡음 조건 하에서도 뛰어난 성능을 보였다.
• MNIST 및 Yale Face 데이터베이스에서 PCA-KMPE는 R1-PCA, L1-PCA, HQ-PCA, PCA-GM 포함 총 다섯 가지 기준 PCA 방법보다 군집 정확도와 정규화된 상호정보량(NMI)에서 뛰어난 성능을 보였다.
• MNIST 데이터셋에서 50차원 부분공간에서 PCA-KMPE는 군집 정확도 71.83%를 달성하여 두 번째로 우수한 방법(69.63%)을 앞서며, 모든 테스트 차원에서 일관된 성능 향상을 보였다.
• 150장의 가짜 이미지가 포함된 Yale Face 데이터셋에서 60차원에서 PCA-KMPE는 군집 정확도 51.33%를 기록하여 다음으로 우수한 방법(49.80%)을 크게 앞서며, 60차원에서 높은 NMI(0.5809)를 유지했다.
• 제안된 KMPE 기반 알고리즘은 다양한 데이터세트와 잡음 수준에서 일관된 강건성을 보였으며, 기준 방법들에 비해 성능 지표의 분산이 더 작았다.
• PCA에서 최적의 p-값은 10으로, PCA-GM에서는 0.3로 확인되었으며, 이는 비제곱형 p-값이 커널 공간 내에서 강건성을 향상시킨다는 것을 시사한다.