[논문 리뷰] TrIK-SVM : an alternative decomposition for kernel methods in Krein spaces

Gaëlle Loosli|arXiv (Cornell University)|2019. 02. 27.

Neural Networks and Applications참고 문헌 9인용 수 4

한 줄 요약

TrIK-SVM는 힐베르트 공간이 아닌 크라이엔 공간에서 커널 방법을 위한 새로운 커널 분해 기법을 제안하며, 고유값 분해를 피함으로써 전체 커널 행렬을 사전 계산하지 않아도 되고, 희소 해를 얻을 수 있도록 한다. 이는 KSVM과 경쟁 가능한 성능을 달성하면서도 수치적 불안정성을 제거하고 계산 효율성을 유지한다.

ABSTRACT

The proposed work aims at proposing a alternative kernel decomposition in the context of kernel machines with indefinite kernels. The original paper of KSVM (SVM in Kreǐn spaces) uses the eigen-decomposition, our proposition avoids this decompostion. We explain how it can help in designing an algorithm that won't require to compute the full kernel matrix. Finally we illustrate the good behavior of the proposed method compared to KSVM.

연구 동기 및 목표

• 고유값 분해로 인한 높은 계산 비용과 희소성 상실로 인한 KSVM의 실용적 한계를 해결한다.
• 전체 커널 행렬 계산을 피하고 해의 희소성을 유지하는 커널 분해 방법을 개발한다.
• 특히 λ 값에 따라 변하는 하이퍼파ram터에 대해 수치적 안정성과 강건성을 확보한다.
• 커널 항을 실시간으로 계산하거나 캐시 전략을 활용해 메모리 효율성을 높이는 효율적인 구현을 가능하게 한다.
• 다양한 오버랩과 분리 가능성 수준을 가진 시뮬레이션 데이터셋에서 KSVM과 경쟁 가능한 성능을 입증한다.

제안 방법

• 고유값 분해를 피하기 위해 추적 기반 공식화를 사용하는 TrIK(추적 기반 부정확한 커널) 분해를 제안하며, 전체 스펙트럼 분해를 계산할 필요 없이 구현된다.
• 커널을 양의 부분과 음의 부분으로 분할함으로써 힐베르트 공간(H)에서 최적화 문제를 재구성한다: K = K₊ + K₋, 여기서 K₊와 K₋는 각각 양의 정부호 커널이다.
• RKHS(H)에서 수정된 이중 최적화 문제를 사용하며, 수정된 커널 행렬 G = G₊ + G₋를 활용한다. 여기서 G₊와 G₋는 각각 K₊와 K₋에서 유도된다.
• 해를 원래 RKKS(K)에서 복원하기 위해 투영 메커니즘을 적용한다: α_sv = P_sv,sv * α̃_sv로, 이는 희소성과 안정성을 보장한다.
• 세 단계 알고리즘을 적용한다: (1) 수정된 커널 행렬을 사용해 RKHS에서 최적화를 수행, (2) 이중 타당성 검증 및 허용 가능한 집합으로 투영, (3) 지지벡터에서의 원래 최적성 검증.
• 전체 커널 행렬을 저장하지 않기 위해 커널 항을 실시간으로 계산하거나 캐시 전략을 활용함으로써 메모리 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 부정확한 커널 학습에서 고유값 분해를 피하면서도 해의 품질을 유지할 수 있는 커널 분해 기법을 설계할 수 있는가?
• RQ2 특히 다양한 λ 값에서 KSVM과 비교해 본다면, 제안된 방법이 희소성과 수치적 안정성을 유지하는가?
• RQ3 전체 커널 행렬을 사전 계산하지 않아도 KSVM과 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ4 λ의 선택이 TrIK-SVM의 해 품질과 계산 효율성에 어떤 영향을 미치는가?
• RQ5 캐시 전략을 활용해 알고리즘을 효율적으로 구현할 수 있는가? 이는 메모리 오버헤드를 줄일 수 있는가?

주요 결과

• λ가 최소 고유값 이하일 경우, 다양한 λ 값에서 RKKS에서의 해가 거의 동일하게 유지되며, 이는 강건성을 보여준다.
• 크기를 증가시키는 30개의 무작위로 생성된 데이터셋(100~3000개 예제)에서 TrIK-SVM은 KSVM과 유사한 학습 정확도를 확보하며 경쟁 가능한 성능을 입증한다.
• 최적화되지 않은 파이썬으로 구현된 TrIK-SVM도, 고도로 최적화된 libsvm를 사용하는 KSVM과 비교해 로그-로그 스케일에서 유사한 학습 시간을 보이며, 성능이 유사하다.
• 알고리즘이 지지벡터 성분만 계산하기 때문에 전체 커널 행렬 저장을 피함으로써 해는 여전히 희소성을 유지한다.
• 특히 점 간 유사도가 높은 데이터셋에서 흔히 발생하는 KSVM의 수치적 불안정성은 고유값 분해를 피함으로써 TrIK-SVM에서 크게 감소한다.
• λ가 충분히 음수일 경우, 해 품질이나 학습 시간에 영향을 주지 않기 때문에 실질적으로 하이퍼파ram터가 없는 방법이 된다.