[논문 리뷰] Recurrent Kernel Networks

Dexiong Chen, Laurent Jacob외 1명|arXiv (Cornell University)|2019. 06. 07.

Machine Learning in Bioinformatics인용 수 10

한 줄 요약

이 논문은 부분 문자열 커널의 연속적 근사화를 통해 갭 인식 모티프 매칭을 통합함으로써 컨volutional 커널 네트워크를 일반화한 새로운 순환 신경망 아키텍처인 순환 커널 네트워크(RKNs)를 소개한다. Nyström 기반 커널 근사화를 RNN에 통합함으로써 백프로파게이션 또는 비지도 커널 근사화를 통한 엔드 투 엔드 학습이 가능해졌으며, 특히 먼 유사도를 가진 단백질을 탐지하는 데 있어 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Substring kernels are classical tools for representing biological sequences or text. However, when large amounts of annotated data are available, models that allow end-to-end training such as neural networks are often preferred. Links between recurrent neural networks (RNNs) and substring kernels have recently been drawn, by formally showing that RNNs with specific activation functions were points in a reproducing kernel Hilbert space (RKHS). In this paper, we revisit this link by generalizing convolutional kernel networks---originally related to a relaxation of the mismatch kernel---to model gaps in sequences. It results in a new type of recurrent neural network which can be trained end-to-end with backpropagation, or without supervision by using kernel approximation techniques. We experimentally show that our approach is well suited to biological sequences, where it outperforms existing methods for protein classification tasks.

연구 동기 및 목표

• 전통적인 커널 방법이 저유사도 서열에서 갭을 다루는 데 한계가 있음을 해결하기 위해.
• 컨볼루션 커널 네트워크를 일반화하여 갭이 있는 모티프 매칭을 허용함으로써 커널 방법과 딥 러닝 간 격차를 메우기 위해.
• 재생 커널 힐버트 공간(RKHS) 내에서 커널 근사화를 통해 지도 및 비지도 학습을 모두 지원하는 순환 아키텍처를 개발하기 위해.
• 유연한 부분 문자열 커널을 통해 삽입 및 삭제를 모델링함으로써, 특히 먼 유사도를 가진 단백질을 탐지하는 데 있어 단백질 분류 성능을 향상시키기 위해.
• 학습 가능한 모티프를 통해 무한차원 RKHS에서 이론적으로 탄탄한 해석 가능한 특징 선택 메커니즘을 제공하기 위해.

제안 방법

• 불일치 커널을 일반화하기 위해 연속적 근사화를 도입하여, 정렬된 위치에서 정확하지 않은 매칭도 가능하게 하여 생물학적 서열의 갭을 모델링한다.
• 커널 계산을 동적 프로그래밍 문제로 공식화하고, 이를 순환 신경망(RNN) 아키텍처로 구현한다.
• 무한차원 커널 맵을 효율적으로 학습하기 위해 Nyström 방법을 사용하여 유한차원 부분공간으로 투영한다.
• RNN 아키텍처는 입력 서열과 RKHS 내에서 학습 가능한 모티프 필터 간의 유사도를 동적으로 집계하여 서열 표현을 계산한다.
• 최신 기법을 통해 [28]의 영감을 얻어 RKHS 내에서 최대 풀링을 시뮬레이션함으로써 이론적 커널 공식화와 실질적 신경망 레이어 간의 괴리를 해결한다.
• 라벨이 없는 경우 커널 맵을 근사화함으로써 지도 학습을 위한 백프로파게이션 외에도 비지도 사전 학습이 가능하도록 모델을 설계한다.

실험 결과

연구 질문

• RQ1 부분 문자열 커널의 연속적 근사화에서 유도된 순환 신경망 아키텍처가 생물학적 서열의 갭을 명시적으로 모델링할 수 있는가?
• RQ2 간극 인식 모티프 매칭을 통합함으로써 기존 커널 또는 신경망 기반 모델 대비 단백질 분류 작업에서 성능 향상이 얼마나 이루어지는가?
• RQ3 Nyström 방법을 통한 비지도 커널 근사화를 통해 라벨이 없는 데이터로 RKNs를 효과적으로 학습시킬 수 있는가?
• RQ4 RKHS 내에서 최대 풀링이 평균 풀링 대비 일반화 성능을 향상시키는가?
• RQ5 RKNs가 기존 모델보다 먼 유사도를 가진 단백질 접힘 분류에서 유사 단백질을 탐지하는 데서 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• 512개 필터를 사용할 때 RKNs는 SCOP 2.06 접힘 분류 벤치마크에서 auROC 0.871과 auROC50 0.629를 기록하여 CKN-seq 및 기타 베이스라인을 초월한다.
• 최대 풀링을 사용한 모델(RKN max)은 SCOP 2.06에서 동일한 파라미터 수로 84.4%의 top-1 정확도를 달성하여 CKN-seq의 84.11%보다 유의미하게 향상되었다.
• 비지도 사전 학습을 통한 RKNs는 80.5%의 top-1 정확도를 기록하여, 라벨 없이도 커널 근사화가 효과적임을 입증하였다.
• 갭 모델링의 포함으로 접힘 분류에서 top-1 정확도가 1.5% 향상되었으며, 특히 먼 유사도를 가진 단백질 탐지에 유리하였다.
• RKHS 내 최대 풀링은 평균 풀링보다 일관되게 뛰어나며, 여러 벤치마크에서 top-10 정확도가 1.5~2% 향상되었다.
• BLOSUM62와 최대 풀링을 사용한 LA-kernel은 SCOP 1.67에서 auROC 0.834와 auROC50 0.504를 기록하여 불일치 및 GPkernel 베이스라인을 모두 능가하였다.