[논문 리뷰] Solving Interpretable Kernel Dimensionality Reduction

Chieh Wu, Jared Miller외 3명|arXiv (Cornell University)|2019. 01. 01.

Face and Expression Recognition인용 수 11

한 줄 요약

이 논문은 이론적 보장을 이터레이티브 스펙트럴 방법(ISM)에 광범위한 커널 가족으로 확장하여, 다양한 학습 철학에 걸쳐 해석 가능한 커널 차원 축소(IKDR)를 해결할 수 있도록 한다. 각 커널이 최적의 투영을 제공하는 서rogate $Φ$ 행렬을 갖는다는 것을 증명함으로써, 방법은 가우시안 커널을 초월하여 효율적인 고유분해 기반 최적화를 가능하게 하면서도 해석 가능성 유지한다.

ABSTRACT

Kernel dimensionality reduction (KDR) algorithms find a low dimensional representation of the original data by optimizing kernel dependency measures that are capable of capturing nonlinear relationships. The standard strategy is to first map the data into a high dimensional feature space using kernels prior to a projection onto a low dimensional space. While KDR methods can be easily solved by keeping the most dominant eigenvectors of the kernel matrix, its features are no longer easy to interpret. Alternatively, Interpretable KDR (IKDR) is different in that it projects onto a subspace extit{before} the kernel feature mapping, therefore, the projection matrix can indicate how the original features linearly combine to form the new features. Unfortunately, the IKDR objective requires a non-convex manifold optimization that is difficult to solve and can no longer be solved by eigendecomposition. Recently, an efficient iterative spectral (eigendecomposition) method (ISM) has been proposed for this objective in the context of alternative clustering. However, ISM only provides theoretical guarantees for the Gaussian kernel. This greatly constrains ISM's usage since any kernel method using ISM is now limited to a single kernel. This work extends the theoretical guarantees of ISM to an entire family of kernels, thereby empowering ISM to solve any kernel method of the same objective. In identifying this family, we prove that each kernel within the family has a surrogate $\Phi$ matrix and the optimal projection is formed by its most dominant eigenvectors. With this extension, we establish how a wide range of IKDR applications across different learning paradigms can be solved by ISM. To support reproducible results, the source code is made publicly available on \url{https://github.com/ANONYMIZED}.

연구 동기 및 목표

• 이전에 가우시안 커널에 대해서만 이론적 보장을 가졌던 ISM의 제한을 해결하기 위해.
• ISM에 대해 이론적으로 정당화될 수 있는 광범위한 커널 가족을 식별하여 다양한 커널 방법에의 적용 가능성을 넓히기 위해.
• 각 커널 가족 내에서 최적의 투영이 서rogate $Φ$ 행렬의 주요 고유벡터로 구성됨을 입증하기 위해.
• 커널 특징 매핑 이전에 부분공간에 투영하여 해석 가능한 커널 차원 축소(IKDR)를 가능하게 하여 특징의 해석 가능성 유지하기 위해.
• ISM 기반 IKDR 구현을 위한 소스 코드를 공개하여 결과의 재현 가능성을 보장하기 위해.

제안 방법

• 서rogate $Φ$ 행렬을 갖는 커널 가족을 식별하여, 저랭크 근사가 고유분해에 적합한 존재를 보장하기 위해.
• 각 커널 가족 내에서 IKDR의 최적 투영 행렬이 서rogate $Φ$ 행렬의 가장 주요한 고유벡터로 구성됨을 증명하기 위해.
• 서rogate $Φ$ 행렬의 구조를 활용하여 비볼록 IKDR 최적화 문제를 고유분해의 반복적 시퀀스로 재구성하여 효율적인 계산을 가능하게 하기 위해.
• ISM 알고리즘을 식별된 커널 가족 내의 임의의 커널에서 작동하도록 확장하여 수렴성과 해석 가능성 유지하기 위해.
• 반복적인 비볼록 최적화를 피하고 스펙트럴 분해에 의존함으로써 계산 효율성 유지하기 위해.
• 모든 커널 가족 내 커널에 대해 동일한 스펙트럴 방법을 사용하여 IKDR를 해결할 수 있는 통합 프레임워크 제공하기 위해.

실험 결과

연구 질문

• RQ1 ISM의 이론적 보장은 가우시안 커널을 초월하여 더 넓은 커널 클래스로 확장될 수 있는가?
• RQ2 서rogate $Φ$ 행렬을 구성할 수 있고, 그 주요 고유벡터가 최적의 IKDR 투영을 제공할 수 있도록 하기 위해 커널가 가져야 할 구조적 특성은 무엇인가?
• RQ3 가우시안 커널 이외의 커널에 적용했을 때 ISM 알고리즘이 수렴성과 최적성을 유지하는가?
• RQ4 제안된 프레임워크는 단일 스펙트럴 최적화 방법을 사용하여 다양한 학습 철학에 걸쳐 IKDR를 통합할 수 있는가?
• RQ5 서rogate $Φ$ 행렬은 비볼록 IKDR 문제를 효율적으로 해결할 수 있는 고유분해 문제로 변환하는 데 어떻게 기여하는가?

주요 결과

• ISM 알고리즘은 가우시안 커널 뿐 아니라 전체 커널 가족에 대해 이론적으로 정당화되며, 적용 범위가 크게 확장된다.
• 각 커널 가족 내에서 최적의 IKDR 투영은 $Φ$의 주요 고유벡터로 구성되는 서rogate $Φ$ 행렬이 존재한다.
• 제안된 방법은 커널 매핑 이전의 부분공간에 투영함으로써 해석 가능한 커널 차원 축소를 가능하게 하여 비선형 관계를 포착하면서도 특징의 해석 가능성 유지한다.
• 이 프레임워크는 커널 가족 내 임의의 커널에 대해 효율적인 고유분해 기반 최적화를 가능하게 하여 고비용의 비볼록 최적화를 피한다.
• 동일한 스펙트럴 최적화 절차를 통해 다양한 커널에 걸쳐 IKDR를 통합함으로써 광범위한 학습 철학을 지원한다.
• 소스 코드는 https://github.com/ANONYMIZED 에 공개되어 있어 결과의 재현 가능성을 보장한다.