[논문 리뷰] Fast Estimation of Information Theoretic Learning Descriptors using Explicit Inner Product Spaces

Kan Li, José C. Prı́ncipe|arXiv (Cornell University)|2020. 01. 01.

Advanced Adaptive Filtering Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 데이터에 독립적인 유한 차원의 특징 매핑을 활용하여 정보 이론적 학습(ITL) 기술자—정보 잠재력과 상관관계성 등—의 빠르고 확장 가능하며 정확한 추정을 가능하게 하는 명시적 내적 공간(EIPS) 커널을 제안한다. 이 방법은 일정한 계산 복잡도를 달성하여 기존 커널 방법보다 빠르면서도 정확도를 유지하며, 특히 대규모 및 스트리밍 데이터 응용 분야에서 뛰어난 성능을 발휘한다.

ABSTRACT

Kernel methods form a theoretically-grounded, powerful and versatile framework to solve nonlinear problems in signal processing and machine learning. The standard approach relies on the \emph{kernel trick} to perform pairwise evaluations of a kernel function, leading to scalability issues for large datasets due to its linear and superlinear growth with respect to the training data. Recently, we proposed \emph{no-trick} (NT) kernel adaptive filtering (KAF) that leverages explicit feature space mappings using data-independent basis with constant complexity. The inner product defined by the feature mapping corresponds to a positive-definite finite-rank kernel that induces a finite-dimensional reproducing kernel Hilbert space (RKHS). Information theoretic learning (ITL) is a framework where information theory descriptors based on non-parametric estimator of Renyi entropy replace conventional second-order statistics for the design of adaptive systems. An RKHS for ITL defined on a space of probability density functions simplifies statistical inference for supervised or unsupervised learning. ITL criteria take into account the higher-order statistical behavior of the systems and signals as desired. However, this comes at a cost of increased computational complexity. In this paper, we extend the NT kernel concept to ITL for improved information extraction from the signal without compromising scalability. Specifically, we focus on a family of fast, scalable, and accurate estimators for ITL using explicit inner product space (EIPS) kernels. We demonstrate the superior performance of EIPS-ITL estimators and combined NT-KAF using EIPS-ITL cost functions through experiments.

연구 동기 및 목표

• 정보 이론적 학습(ITL) 추정기의 높은 계산 비용을 해결하기 위해, 전체 그램 행렬 계산으로 인해 데이터셋 크기에 대해 초선형적으로 증가하는 계산 복잡도를 줄이기 위함.
• 암묵적 매핑 없이 커널 성질을 유지하는 명시적이고 유한 차원의 특징 매핑을 가능하게 하여, 노트릭(NT) 커널 적응 필터링 프레임워크를 ITL로 확장하기 위함.
• 명시적 내적 공간(EIPS) 커널을 사용하여 빠르고 확장 가능하며 정확한 ITL 추정기의 가족을 개발하여 정보 추출을 향상시키기 위함.
• EIPS-ITL 추정기가 반복마다 일정한 CPU 시간을 유지하면서도 높은 정확도를 유지함으로써 실시간 및 스트리밍 응용이 가능함을 입증하기 위함.

제안 방법

• 정규화된(Gauss-Quadrature, 테일러 급수), 무작위(Random Fourier Features), 그리고 하이브리드 접근 방식을 사용하여 유한 질량의 머서 커널을 정의하는 명시적 특징 매핑을 구성함.
• 머서 정리(Mercer theorem)를 활용하여 커널을 정규직교 기저 함수의 유한 합으로 표현함으로써, 양의 정부호성과 수치적 안정성을 보장함.
• 정보 잠재력(IP)과 교차 정보 잠재력(CIP)은 유한 차원 특징 공간 내의 명시적 내적을 통해 계산되며, 전체 그램 행렬의 저장 및 계산을 피함.
• 기존의 커널 트릭을 명시적 특징 매핑으로 대체하여, 데이터셋 크기와 무관하게 반복마다 일정한 시간 복잡도로 계산이 가능함.
• EIPS-ITL 비용 함수(예: 최대 상관관계성, 최소 오차 엔트로피)를 사용하여 커널 적응 필터링(KAF)과 통합함.
• 효율성을 확보하기 위해 전체 이중합 IP 추정과 단일합 확률적 정보 기울기(SIG) 근사치를 모두 사용하여 검증함.

실험 결과

연구 질문

• RQ1 명시적 내적 공간(EIPS) 커널을 사용하여 정보 잠재력과 상관관계성과 같은 ITL 기술자에 대한 빠르고 확장 가능한 추정이 가능할 수 있는가?
• RQ2 제안된 EIPS-ITL 프레임워크는 기존 커널 방법 대비 계산 복잡도를 감소시키면서도 정확도를 유지하는가?
• RQ3 EIPS-ITL 추정기의 계산 복잡도는 특히 온라인 및 스트리밍 환경에서 데이터셋 크기가 증가함에 따라 어떻게 변화하는가?
• RQ4 EIPS-ITL는 커널 적응 필터링(KAF) 알고리즘에 효과적으로 통합되어 성능과 확장성을 향상시킬 수 있는가?

주요 결과

• EIPS-ITL 추정기는 기존 커널 방법이 (초)선형적으로 증가하는 것과는 달리 반복마다 일정한 CPU 시간을 유지하여, 대규모 및 스트리밍 데이터에 매우 적합함.
• EIPS 기반의 NT-KMCC 및 NT-KMEE 알고리즘은 표준 KAF(KLMS, KMCC) 및 스퍼스리피케이션된 KAF(QKMCC)보다 빠른 속도를 보이며, 반복마다 일정한 시간 복잡도를 유지함.
• 4차 테일러 급수 전개(TS)를 사용한 NT-KMEE는 선형 MEE-SIG와 유사한 성능를 달성했지만, 커널 SIG 방법보다 훨씬 낮은 계산 비용을 기록함.
• EIPS-ITL에서 직접적인 전체 정보 잠재력(이중합) 계산은 가장 높은 런타임을 보였지만, 여전히 일정한 복잡도를 유지함. 반면 기존 방법은 데이터셋 크기에 비례해 시간이 증가함.
• EIPS 프레임워크는 확장성 손실 없이 고차원 통계량의 정확한 추정을 ITL 기준으로 가능하게 하여, 속도와 수렴 행동 면에서 뛰어난 성능을 입증함.