[論文レビュー] Recurrent Kernel Networks

Dexiong Chen, Laurent Jacob+1 more|arXiv (Cornell University)|Jun 7, 2019

Machine Learning in Bioinformatics被引用数 10

ひとこと要約

この論文は、部分文字列カーネルの連続的リラクゼーションを通じてギャップ対応のモチーフマッチングを組み込んだ、畳み込みカーネルネットワークを一般化した新しい再帰的ニューラルネットワークアーキテクチャ、Recurrent Kernel Networks (RKNs) を提案する。Nyströmに基づくカーネル近似をRNNに組み込むことで、バックプロパゲーションによるエンドツーエンド学習または自己教師ありカーネル近似が可能となり、特に遠く離れた相同性の検出において、タンパク質分類タスクで最先端の性能を達成する。

ABSTRACT

Substring kernels are classical tools for representing biological sequences or text. However, when large amounts of annotated data are available, models that allow end-to-end training such as neural networks are often preferred. Links between recurrent neural networks (RNNs) and substring kernels have recently been drawn, by formally showing that RNNs with specific activation functions were points in a reproducing kernel Hilbert space (RKHS). In this paper, we revisit this link by generalizing convolutional kernel networks---originally related to a relaxation of the mismatch kernel---to model gaps in sequences. It results in a new type of recurrent neural network which can be trained end-to-end with backpropagation, or without supervision by using kernel approximation techniques. We experimentally show that our approach is well suited to biological sequences, where it outperforms existing methods for protein classification tasks.

研究の動機と目的

• 生物学的配列におけるギャップの取り扱いに限界を示す伝統的カーネル手法の問題を解決すること。特に、配列類似度が低い場合に焦点を当てる。
• 畳み込みカーネルネットワークをギャップありモチーフマッチングを許容する形に一般化することで、カーネル手法とディープラーニングの溝を埋めること。
• 再帰的アーキテクチャを構築し、再生ヒルバート空間 (RKHS) 内のカーネル近似を通じて、教師ありおよび自己教師あり学習を両立させること。
• リラックスされた部分文字列カーネルを用いて挿入・欠失をモデル化することで、特に遠く離れた相同体の検出において、タンパク質分類の性能を向上させること。
• 学習可能なモチーフを通じて、無限次元のRKHSにおける理論的裏付けされた解釈可能な特徴選択メカニズムを提供すること。

提案手法

• ミスマッチカーネルを一般化し、アラインされた位置での不正確な一致を許容する連続的リラクゼーションを導入することで、配列モチーフ内のギャップをモデル化する。
• カーネル計算を動的計画法の問題として定式化し、これを再帰的ニューラルネットワーク (RNN) 構造として実装する。
• 無限次元のカーネルマップを有限次元部分空間に射影するため、Nyström法を用いてカーネル近似を行う。
• RNN構造は、入力配列とRKHS内での学習可能なモチーフフィルタ間の類似度を動的に集約することで、シーケンス表現を計算する。
• Max-poolingは、[28] にインspiredされた新しい技術を用いてRKHS内でシミュレートされ、理論的カーネル定式化と実際のニューラルネットワーク層との乖離を解消する。
• モデルは、ラベルなしでカーネルマップを近似することで、バックプロパゲーションによる教師あり学習と、自己教師あり事前学習の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 部分文字列カーネルの連続的リラクゼーションから導かれる再帰的ニューラルネットワークアーキテクチャは、生物学的配列におけるギャップを明示的にモデル化できるか？
• RQ2 ギャップ対応のモチーフマッチングを組み込むことで、標準的なカーネル法やニューラルネットワークベースラインと比較して、タンパク質分類タスクでの性能がどの程度向上するか？
• RQ3 Nyström法による自己教師ありカーネル近似を用いることで、ラベルなしデータでのRKNの学習はどの程度効果的に実行できるか？
• RQ4 RKHS内でのMax-poolingは、シーケンス表現学習におけるMean-poolingと比較して一般化性能を向上させるか？
• RQ5 RKNは、タンパク質フォールド分類における遠く離れた相同体の検出において、既存のモデルを上回ることができるか？

主な発見

• 512個のフィルタを用いたSCOP 2.06フォールド分類ベンチマークにおいて、RKNはauROC 0.871、auROC50 0.629を達成し、CKN-seqおよび他のベースラインを上回った。
• Max-poolingを用いたモデル (RKN max) は、SCOP 2.06でトップ1正答率84.4%を達成し、同じパラメータ数のCKN-seq (84.11%) より顕著に向上した。
• 自己教師あり事前学習を施したRKNは、80.5%のトップ1正答率を達成し、ラベルなしでのカーネル近似の有効性を示した。
• ギャップモデルの導入により、フォールド分類のトップ1正答率が1.5%向上し、特に遠く離れた相同体の検出において有益であった。
• RKHS内でのMax-poolingは、複数のベンチマークでMean-poolingを常に上回り、トップ10正答率で1.5–2%の向上を示した。
• BLOSUM62とMax-poolingを用いたLA-kernelは、SCOP 1.67でauROC 0.834、auROC50 0.504を達成し、ミスマッチおよびGPkernelベースラインを上回った。