[논문 리뷰] Implicit Kernel Learning

Chunliang Li, Wei-Cheng Chang외 3명|arXiv (Cornell University)|2019. 02. 26.

Generative Adversarial Networks and Image Synthesis인용 수 28

한 줄 요약

이 논문은 깊이 있는 신경망을 사용하여 이동 불변 커널의 스펙트럼 분포를 암묵적 생성 모델링을 통해 학습하는 은닉 커널 학습(Implicit Kernel Learning, IKL)을 제안한다. 기본 분포에서 온 샘플을 효과적인 스펙트럼 특징으로 변환하는 데 목적이 있는 신경망을 훈련시킴으로써, IKL은 MMD GAN 및 Random Kitchen Sinks를 통한 지도 학습에서 히وري스틱 기법과 기존 최첨단 커널 학습 방법을 능가하는 뛰어난 성능을 보이는 데이터 기반 커널 학습을 가능하게 한다.

ABSTRACT

Kernels are powerful and versatile tools in machine learning and statistics. Although the notion of universal kernels and characteristic kernels has been studied, kernel selection still greatly influences the empirical performance. While learning the kernel in a data driven way has been investigated, in this paper we explore learning the spectral distribution of kernel via implicit generative models parametrized by deep neural networks. We called our method Implicit Kernel Learning (IKL). The proposed framework is simple to train and inference is performed via sampling random Fourier features. We investigate two applications of the proposed IKL as examples, including generative adversarial networks with MMD (MMD GAN) and standard supervised learning. Empirically, MMD GAN with IKL outperforms vanilla predefined kernels on both image and text generation benchmarks; using IKL with Random Kitchen Sinks also leads to substantial improvement over existing state-of-the-art kernel learning algorithms on popular supervised learning benchmarks. Theory and conditions for using IKL in both applications are also studied as well as connections to previous state-of-the-art methods.

연구 동기 및 목표

• 커널 방법에서의 지속적인 커널 선택 과제를 해결함으로써, 이는 경험적 성능에 중대한 영향을 미친다.
• 사전 정의되거나 파라미터화된 모델을 초월하여 데이터 기반의 유연한 프레임워크를 개발하여 커널 스펙트럼 분포를 학습하는 것.
• 깊이 있는 신경망을 사용한 스펙트럼 특징의 암묵적 생성 모델링을 통해 효과적인 커널 학습을 가능하게 하는 것.
• 제안된 방법이 커널 학습 응용 분야에서 이론적으로 일致성과 일반화 보장을 제공하는 것.
• IKL이 MMD GAN 및 Random Kitchen Sinks를 통한 지도 학습이라는 두 가지 핵심 응용 분야에서 효과적임을 입증하는 것.

제안 방법

• IKL은 기저 분포 $ \mathbb{P}(\nu) $ 에서 온 샘플을 효과적인 스펙트럼 특징으로 매핑하는 신경망 변환 $ h_{\psi} $ 를 학습시켜 이동 불변 커널의 스펙트럼 분포를 모델링한다.
• 커널은 $ k_{\psi}(x,x') = \mathbb{E}_{\omega \sim \mathbb{P}_k}[e^{i\omega^\top(x-x')}] $ 를 통해 암묵적으로 정의되며, 여기서 $ \omega = h_{\psi}(\nu) $ 이고 $ \nu \sim \mathbb{P}(\nu) $ 이다.
• 추론은 학습된 변환에서 유도된 랜덤 푸리에 특징을 샘플링하여 수행되며, 이는 효율적인 커널 근사화를 가능하게 한다.
• 이 방법은 스펙트럼 분포의 명시적 밀도 모델링이 필요 없이, MMD나 커널 정렬과 같은 작업별 목표 함수에 대해 확률적 경사 하강법(SGD)을 사용해 훈련된다.
• 이론적 분석은 라데마처 복잡도를 통해 일관성과 일반화 경계를 확립하며, 가설 클래스의 복잡도와 랜덤 특징의 수에 의존함을 보여준다.
• 이 프레임워크는 커널 임bedding 및 혼합 모델과 같은 기존 커널 학습 기법과 호환되어 하이브리드 접근 방식을 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망을 통한 스펙트럼 분포의 암묵적 생성 모델링이 사전 정의되거나 파라미터화된 스펙트럼 모델보다 더 효과적인 커널 학습을 이끌 수 있는가?
• RQ2 IKL은 이미지 및 텍스트 생성을 위한 MMD GAN과 같은 생성 모델링 과제에서 성능을 향상시키는가?
• RQ3 IKL은 Random Kitchen Sinks를 통한 지도 학습에서 성능을 향상시킬 수 있으며, 기존 최첨단 커널 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ4 커널 학습 응용 분야에서 IKL의 일관성과 일반화에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ5 스펙트럼 특징을 위한 변환 함수를 학습시키는 것의 유연성은 직접 랜덤 특징을 최적화하는 것과 비교해 어떻게 다른가?

주요 결과

• IKL은 이미지 및 텍스트 생성 벤치마크에서 바닐라 사전 정의 커널보다 MMD GAN에서 더 뛰어난 샘플 품질과 다양성을 보이며 성능이 향상됨을 입증하였다.
• Random Kitchen Sinks를 통한 지도 학습에서, IKL은 표준 벤치마크에서 기존 최첨단 커널 학습 알고리즘보다 상당한 성능 향상을 달성하였다.
• 이론적 분석은 IKL의 일반화 오차가 가설 클래스의 라데마처 복잡도와 랜덤 특징의 수에 의존하며, 미약한 조건 하에서 일관성 보장을 받는다는 것을 보여주었다.
• 단순함과 SGD를 통한 엔드 투 엔드 훈련에도 불구하고, IKL는 직접 랜덤 특징이나 스펙트럼 밀도를 최적화하는 이전 연구들보다 경쟁적 또는 더 뛰어난 성능을 달성하였다.
• IKL는 스펙트럼 샘플링 과정을 암묵적으로 학습함으로써, 명시적 밀도 모델링 없이도 더 강력하고 적응 가능한 커널을 가능하게 하는 새로운 패러다임을 제공한다.
• 이 프레임워크는 커널 임베딩 및 혼합 모델과 같은 기존 커널 학습 기법과 호환되며, 광범위한 적용 가능성과 통합 잠재력을 시사한다.