[論文レビュー] CKConv: Continuous Kernel Convolution For Sequential Data

David W. Romero, Anna Kuzina+3 more|arXiv (Cornell University)|Feb 4, 2021

Human Pose and Action Recognition参考文献 65被引用数 13

ひとこと要約

CKConvは、畳み込みカーネルをニューラルネットワークを用いて連続関数としてパrameter化する新しいアプローチであるContinuous Kernel Convolutionを導入し、再帰なしで任意の長さの記憶時間軸を実現する。これにより並列学習が可能になり、不規則にサンプリングされたデータのネイティブな取り扱いが可能となり、順序付きタスク（置換MNISTや不規則データベンチマークなど）において、標準CNNやニューラルODEを凌駕する最先端の性能を発揮する。

ABSTRACT

Conventional neural architectures for sequential data present important limitations. Recurrent networks suffer from exploding and vanishing gradients, small effective memory horizons, and must be trained sequentially. Convolutional networks are unable to handle sequences of unknown size and their memory horizon must be defined a priori. In this work, we show that all these problems can be solved by formulating convolutional kernels in CNNs as continuous functions. The resulting Continuous Kernel Convolution (CKConv) allows us to model arbitrarily long sequences in a parallel manner, within a single operation, and without relying on any form of recurrence. We show that Continuous Kernel Convolutional Networks (CKCNNs) obtain state-of-the-art results in multiple datasets, e.g., permuted MNIST, and, thanks to their continuous nature, are able to handle non-uniformly sampled datasets and irregularly-sampled data natively. CKCNNs match or perform better than neural ODEs designed for these purposes in a faster and simpler manner.

研究の動機と目的

• RNNの限界、すなわち消失勾配や小さな有効な記憶時間軸を克服すること。
• 標準CNNの固定された記憶時間軸と離散的カーネルパラメータ化の問題に対処すること。
• 任意のシーケンス長やサンプリングパターンに一般化可能な、連続的畳み込みカーネルのエンドツーエンド学習を可能にすること。
• 不規則で連続的な順序付きデータをモデル化するための、ニューラルODEよりも単純で高速な代替手法を提供すること。

提案手法

• 相対的時間ステップをカーネル重みにマップする小さな多層パーセプトロン（MLP）を用いて、畳み込みカーネルを連続関数としてパラメータ化する。
• 畳み込み中に任意の相対的位置で連続的カーネルを評価し、柔軟かつ解像度に依存しない操作を可能にする。
• 複雑で滑らかでない、高周波数のカーネル関数をモデル化するために、正弦関数非線形性を用いたSIREN（Sinusoidal Representation Networks）を用いる。
• 所望の相対的位置で連続的カーネルをサンプリングすることで畳み込みを実行し、任意の長さのシーケンスにおける並列計算を可能にする。
• 標準的なバックプロパゲーションを用いて、再帰を避け、勾配不安定性を回避するエンドツーエンドのネットワーク学習を実行する。
• 非一様な時間ステップでカーネルを評価することで、不規則にサンプリングされたデータにモデルを適応させ、変動するサンプリングレートをネイティブにサポートする。

実験結果

リサーチクエスチョン

• RQ1 連続的カーネルパラメータ化は、再帰や固定されたカーネルサイズなしに、長期依存関係をモデル化できるか？
• RQ2 既存手法と比較して、CKConvは不規則にサンプリングされたまたは非一様にサンプリングされた順序付きデータタスクでどのように性能を発揮するか？
• RQ3 SIREN活性化関数を用いた連続的カーネルは、離散的カーネルと比較して、順序付きデータ内の複雑で高周波数のパターンをより効果的に捉えることができるか？
• RQ4 CKConvは、置換MNIST や CIFAR10 といった標準ベンチマークで最先端の性能を達成しながら、学習効率を維持できるか？
• RQ5 CKCNNは、再トレーニングやアーキテクチャの変更なしに、異なるシーケンス長やサンプリングレートに一般化できるか？

主な発見

• CKCNNは置換MNISTで最先端の性能を達成し、標準CNNやRNNベースのモデルを上回った。
• CKCNNは、CT や SC_raw のような不規則にサンプリングされたデータタスクにおいて、ニューラルODEと同等またはそれを上回る性能を示したが、学習がより高速で単純であった。
• モデルは、ネットワークの深さや拡張係数に依存せず、一度のフォワードパスで任意の長さのシーケンスを処理できた。
• SIRENベースのカーネルにおけるω₀の最適値は、シーケンス長に応じて変化し、時間的解像度や複雑さに敏感であることが示された。
• CKCNNはデータの不規則性に対して頑健であり、PhysioNet や CT データセットで70％の欠損データがある状況でも高い精度を維持した。
• 努力の末、sCIFAR10では過学習が観察されたため、より強い正則化なしでは高次元画像データへのスケーリングに課題があることが示された。