[논문 리뷰] Fast Learning in Reproducing Kernel Krein Spaces via Signed Measures

Fanghui Liu, Xiaolin Huang외 2명|arXiv (Cornell University)|2020. 05. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 63인용 수 5

한 줄 요약

이 논문은 서명 측도 프레임워크를 도입하여 비양의 정부호가 아닌(Non-PD) 커널이 두 개의 양의 정부호(PD) 커널의 차로 분해될 수 있는지에 대한 오랫동안 열려있던 열린 문제를 해결한다. 측도 분해를 통해 이러한 양의 분해를 위한 필요 및 충분 조건을 제시하며, 비-PD 커널에 대한 처음으로 비편향(random features) 알고리즘을 가능하게 하여 대규모 데이터셋에 효율적으로 스케일링되며 기존 방법들보다 분류 정확도에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we attempt to solve a long-lasting open question for non-positive definite (non-PD) kernels in machine learning community: can a given non-PD kernel be decomposed into the difference of two PD kernels (termed as positive decomposition)? We cast this question as a distribution view by introducing the \emph{signed measure}, which transforms positive decomposition to measure decomposition: a series of non-PD kernels can be associated with the linear combination of specific finite Borel measures. In this manner, our distribution-based framework provides a sufficient and necessary condition to answer this open question. Specifically, this solution is also computationally implementable in practice to scale non-PD kernels in large sample cases, which allows us to devise the first random features algorithm to obtain an unbiased estimator. Experimental results on several benchmark datasets verify the effectiveness of our algorithm over the existing methods.

연구 동기 및 목표

• 기계 학습 분야에서 오랫동안 열려있던 열린 문제를 해결하는 것: 주어진 비정상(비-PD) 커널이 두 개의 양의 정부호 커널의 차로 분해될 수 있는지 여부를 밝히는 것.
• 대규모 학습 환경에서 비-PD 커널을 근사하는 데 있어 계산적으로 효율적이고 확장 가능한 방법을 개발하는 것.
• 양의 분해 문제를 측도 분해 문제로 변환하는 이론적으로 탄탄한 분포 기반 프레임워크를 제공하는 것.
• 비정상 커널에 대한 처음으로 비편향 랜덤 피처 알고리즘을 설계하여 커널 근사에서 편향 없이 일관된 추정을 보장하는 것.
• 선형 SVM 분류를 사용하여 벤치마크 데이터셋에서 제안된 방법의 효과성을 검증하는 것.

제안 방법

• 서명 측도를 도입하여 보렐 측도를 일반화하여 음수 가중치를 허용하고, 이를 통해 양의 분해 문제를 측도 분해 문제로 재정의한다.
• 서명 측도 표현을 통해 비-PD 커널이 양의 분해를 허용하기 위한 필요 및 충분 조건을 수립한다.
• 측도 분해 기반의 랜덤화된 피처 맵을 유도하여 커널 근사의 비편향 추정을 가능하게 한다.
• 구면 다항식 및 기타 반경 커널과 관련된 복잡하고 비표준적인 측도에서 샘플링하기 위해 거부 샘플링과 중요도 샘플링 기법을 적용한다.
• 근사 정확도를 향상시키면서도 계산 가능성을 유지하기 위해 직교 몬테카를로 샘플링을 활용한다.
• 랜덤 피처 맵을 선형 SVM 분류기의 입력으로 사용하며, 5개의 교차 검증을 통한 초모수 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 모든 비정상 커널이 두 개의 양의 정부호 커널의 차로 분해될 수 있으며, 만약 가능하면 어떤 조건에서 가능할까?
• RQ2 분포 기반 프레임워크를 사용하여 비-PD 커널에 대한 비편향 랜덤 피처 근사를 구성할 수 있는가?
• RQ3 제안된 방법은 높은 근사 정확도를 유지하면서 대규모 데이터셋에 어떻게 효율적으로 스케일링할 수 있는가?
• RQ4 벤치마크 데이터셋에서 제안된 알고리즘이 기존 방법들에 비해 어떤 성능을 보이는가?
• RQ5 다양한 샘플링 전략(예: 중요도 샘플링, 직교 몬테카를로)은 근사 오차와 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 제안된 서명 측도 프레임워크는 비정상 커널의 양의 분해를 위한 필요 및 충분 조건을 제공하여 커널 학습 분야에서 오랫동안 존재하던 이론적 격차를 해소한다.
• 이 방법은 비-PD 커널에 대한 처음으로 비편향 랜덤 피처 근사를 가능하게 하여 커널 근사에서 편향 없이 일관된 추정을 보장한다.
• Letter 데이터셋에서, 제안된 방법은 다양한 다항식 커널 차수(p=1, p=3)에서 기준 방법들보다 낮은 근사 오차를 기록하며, 특히 직교 몬테카를로 샘플링이 가장 낮은 오차를 기록하지만 계산 비용은 더 높다.
• Cod-RNA 데이터셋에서는 모든 방법이 피처 차원에 관계없이 유사한 정확도를 기록하지만, 제안된 방법은 다른 데이터셋에서도 강력한 성능을 유지하며, 특히 고차원 피처 맵에서 뛰어난 성능을 발휘한다.
• 랜덤화된 피처 맵 생성의 계산 비용은 O(ns²) 시간과 O(ns) 메모리로 표준 RFF와 동일하며, 허용 가능한 약간의 오버헤드만 존재한다(허용 가능한 복소수 성분으로 인한 것).
• 중요도 샘플링은 근사 성능 손실를 최소화하면서 시간 비용을 줄이며, 릿지 리버런스 스코어와 조합할 경우 리버런스 스코어 기반 샘플링 방법과 일치한다.