[논문 리뷰] Solving Interpretable Kernel Dimension Reduction

Chieh Wu, Jared Miller외 3명|arXiv (Cornell University)|2019. 09. 06.

Neural Networks and Applications참고 문헌 40인용 수 4

한 줄 요약

이 논문은 이전에 가우시안 커널에 국한되어 있던 해석 가능한 커널 차원 감소(Interpretable Kernel Dimension Reduction, IKDR)를 위한 반복 스펙트럴 방법(Iterative Spectral Method, ISM)을 확장하여, 가우시안 커널 외의 넓은 커널 가족에 대해 이론적 수렴 보장을 증명한다. 이 가족 내 각 커널에 대해 보조 행렬 Φ 를 도입함으로써, 고유분해 기반 최적화를 빠르게 수행하면서도 원래 특징의 선형 투영을 통해 해석 가능성도 유지함으로써, ISM 의 적용 범위를 지도, 비지도, 준지도 학습 파라다임 전반에 넓게 확장한다.

ABSTRACT

Kernel dimensionality reduction (KDR) algorithms find a low dimensional representation of the original data by optimizing kernel dependency measures that are capable of capturing nonlinear relationships. The standard strategy is to first map the data into a high dimensional feature space using kernels prior to a projection onto a low dimensional space. While KDR methods can be easily solved by keeping the most dominant eigenvectors of the kernel matrix, its features are no longer easy to interpret. Alternatively, Interpretable KDR (IKDR) is different in that it projects onto a subspace extit{before} the kernel feature mapping, therefore, the projection matrix can indicate how the original features linearly combine to form the new features. Unfortunately, the IKDR objective requires a non-convex manifold optimization that is difficult to solve and can no longer be solved by eigendecomposition. Recently, an efficient iterative spectral (eigendecomposition) method (ISM) has been proposed for this objective in the context of alternative clustering. However, ISM only provides theoretical guarantees for the Gaussian kernel. This greatly constrains ISM's usage since any kernel method using ISM is now limited to a single kernel. This work extends the theoretical guarantees of ISM to an entire family of kernels, thereby empowering ISM to solve any kernel method of the same objective. In identifying this family, we prove that each kernel within the family has a surrogate $Φ$ matrix and the optimal projection is formed by its most dominant eigenvectors. With this extension, we establish how a wide range of IKDR applications across different learning paradigms can be solved by ISM. To support reproducible results, the source code is made publicly available on \url{https://github.com/chieh-neu/ISM_supervised_DR}.

연구 동기 및 목표

• 이전에 가우시안 커널에 국한되어 있던 ISM 의 이론적 수렴 보장을 더 넓은 커널 클래스로 일반화함으로써, ISM 의 제한을 극복하는 것.
• 제안된 가족의 임의의 커널이 보조 행렬 Φ 를 통해 표현될 수 있는 통합 프레임워크를 구축하여, 효율적인 고유분해 기반 최적화를 가능하게 하는 것.
• 이 가족 내 커널의 원뿔 조합도 해당하는 Φ 행렬을 갖는다는 것을 보여, ISM 이 하이브리드 커널 방법에까지 적용 가능하게 하는 것.
• 모든 학습 파라다임—지도, 비지도, 준지도, 그리고 대체 클러스터링—에서 IKDR 문제를 동일한 최적화 목표로 해결할 수 있도록 ISM 을 통합하는 것.
• 재현 가능성을 보장하고 응용 분야에서의 도입을 촉진하기 위해 공개된 구현을 제공하는 것.

제안 방법

• 두 조건을 만족하는 새로운 커널 가족을 도입: (1) 대칭 정반비율 행렬 β 의 함수로 커널을 표현할 수 있고, (2) 커널이 두 번 미분 가능해야 한다.
• 이 가족 내 각 커널에 대해 최적의 투영이 Φ 의 주요 고유벡터에 의해 주어지도록 보조 행렬 Φ 를 정의함으로써, 고유분해 기반 빠른 최적화를 가능하게 한다.
• 이 가족의 커널들에 대한 원뿔 조합도 동일한 원뿔 조합으로 이루어진 개별 Φ 행렬들로부터 유도되는 유효한 Φ 행렬을 갖는다는 것을 증명한다.
• 지도, 비지도, 준지도, 클러스터링 등의 다양한 학습 파라다임에서 IKDR 목표를 동일한 최적화 문제로 재구성하여 ISM 으로 해결 가능하게 한다.
• ISM 알고리즘에서 수렴의 대체 지표로 Φ 의 고유값을 사용하고, 정확한 수렴 확인을 위한 보조 수단으로 주요 각도를 활용한다.
• 최적화 제약 조건을 스티엘 맨포ลด라에서 그라스만 맨포ลด라로 완화함으로써, 투영 행렬이 생성하는 부분공간의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 ISM 의 이론적 수렴 보장이 가우시안 커널을 초월하여 더 넓은 커널 클래스로 확장될 수 있는가?
• RQ2 어떤 조건을 만족해야 커널이 보조 행렬 Φ 를 통해 구성될 수 있으며, 그 주요 고유벡터가 최적의 IKDR 투영을 제공할 수 있는가?
• RQ3 ISM 가족 내 커널들의 원뿔 조합도 해당하는 Φ 행렬을 통해 표현될 수 있으며, ISM 최적화 프레임워크가 유지되는가?
• RQ4 지도, 비지도, 준지도, 클러스터링 등의 다양한 학습 파라다임이 공통 최적화 목표를 통해 얼마나 깊이 통합될 수 있는가?
• RQ5 특히 고유분해를 사용할 경우 높은 계산 비용이 발생할 수 있으므로, ISM 의 수렴을 효율적으로 모니터링하는 방법은 무엇인가?

주요 결과

• 특정 함수적 조건과 미분 가능성 조건을 만족하는 넓은 커널 가족에 대해 ISM 이 이론적으로 확장되어, 적용 가능성이 크게 증가하였다.
• 이 가족의 각 커널은 최적의 투영이 Φ 의 주요 고유벡터를 통해 얻어지도록 보조 행렬 Φ 를 갖는다. 이는 고유분해 기반의 빠른 최적화를 가능하게 한다.
• 이 가족의 커널들에 대한 원뿔 조합도 유효한 Φ 행렬을 유도하며, 이는 ISM 이 이론적 보장을 유지한 채 하이브리드 커널 방법에 적용 가능하게 한다.
• 지도, 비지도, 준지도, 대체 클러스터링 등의 다양한 학습 파라다임에서 공통 최적화 목표로 통합된 ISM 의 적용이 가능해졌으며, 이는 이전에 인식되지 않았던 공통적인 구조를 드러낸다.
• 실험 결과, 기존의 DG 와 같은 방법보다 ISM 이 더 빠른 수렴과 낮은 목적 함수 비용을 달성하며, 600개 샘플 데이터셋에서 2일이 걸리던 런타임이 2초 이내로 단축됨을 보였다.
• 커널 매핑 이전에 저차원 부분공간으로의 투영을 통해 해석 가능성을 유지하며, 투영 행렬이 원래 특징의 선형 조합을 드러내어 이론적 해석력을 유지한다.