[論文レビュー] Towards a General Purpose CNN for Long Range Dependencies in $N$D

David W. Romero, David M. Knigge+5 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Neural Network Applications被引用数 9

ひとこと要約

本稿では、連続的畳み込みカーネルをパラメータ化する小さなニューラルネットワークを用いて、任意のデータ長、解像度、次元性（1次元、2次元、3次元以上）において、アーキテクチャの変更なしに長距離依存関係をモデル化できる汎用的なCNNアーキテクチャである連続畳み込みニューラルネットワーク（CCNN）を紹介する。CCNNは、音声、画像、順序データの分野において、SOTAまたは競争力のある性能を達成しており、Long Range Arena や Pathfinder といったベンチマークにおいて、最大10ポイントの向上を達成している。

ABSTRACT

The use of Convolutional Neural Networks (CNNs) is widespread in Deep Learning due to a range of desirable model properties which result in an efficient and effective machine learning framework. However, performant CNN architectures must be tailored to specific tasks in order to incorporate considerations such as the input length, resolution, and dimentionality. In this work, we overcome the need for problem-specific CNN architectures with our Continuous Convolutional Neural Network (CCNN): a single CNN architecture equipped with continuous convolutional kernels that can be used for tasks on data of arbitrary resolution, dimensionality and length without structural changes. Continuous convolutional kernels model long range dependencies at every layer, and remove the need for downsampling layers and task-dependent depths needed in current CNN architectures. We show the generality of our approach by applying the same CCNN to a wide set of tasks on sequential (1$\mathrm{D}$) and visual data (2$\mathrm{D}$). Our CCNN performs competitively and often outperforms the current state-of-the-art across all tasks considered.

研究の動機と目的

• 標準的なCNNが、異なるデータ長、解像度、次元性に対応するためにはタスク固有のアーキテクチャを必要としているという制限を克服する。
• 離散的畳み込みカーネルが長距離依存関係を効率的にモデル化できないこと、および解像度に依存しないことの限界を克服する。
• 構造的変更なしに、順序データ、視覚的データ、高次元データのすべてで効果的に動作する、単一で統一されたCNNアーキテクチャを開発する。
• カーネルサイズとパrameter数の分離を実現する連続的カーネルパラメータ化を用いて、グローバルなコンテキストの効率的モデリングを可能にする。

提案手法

• 離散的畳み込みカーネルを、入力座標をカーネル値にマップする小さなニューラルネットワークによってパラメータ化された連続的カーネルに置き換える。
• カーネル生成ネットワークに座標ベースの入力を使用することで、異なる入力スケールにおいても解像度に依存しない動作を実現する。
• 入力座標の次元を変更することで、1次元、2次元、および高次元データの両方で同じカーネル生成ネットワークを構築する。
• ダウンサンプリング、プーリング、タスク固有の深さの必要性を排除し、連続的カーネルパラメータ化による長距離モデリングによって、長距離依存関係を実現する。
• アーキテクチャの変更なしに、複数のタスクおよび異なるデータモダリティと解像度で単一のCCNNアーキテクチャを学習する。
• 連続的カーネルを活用して、大規模な離散的カーネルによるパrameterの爆発を回避しながら、長距離依存関係を効率的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 同じCNNアーキテクチャが、任意の長さ、解像度、次元性のデータにおいて、長距離依存関係を効果的にモデル化できるか？
• RQ2 連続的カーネルパラメータ化は、離散的カーネルと比較して、長距離シーケンスおよび画像タスクの性能をどのように向上させるか？
• RQ3 統一されたCCNNアーキテクチャが、音声、画像、順序データを含む多様なベンチマークで、タスク固有のCNNをどれほど上回ることができるか？
• RQ4 連続的カーネル定式化は、異なるデータモダリティにおいて、より優れた一般化性能と高速収束を実現できるか？
• RQ5 同じカーネル生成ネットワークを1次元、2次元、3次元以上のデータに、アーキテクチャの変更なしに使用できるか？

主な発見

• 200万パラメータのCCNNは、Pathfinder 2次元画像分類ベンチマークで96.00％の正確度を達成し、前回のSOTAをほぼ10ポイント上回った。
• Long Range Arenaベンチマークでは、6つのタスクの平均スコアが77.02に達し、前回のSOTA手法（S4）を16.54ポイント上回った。
• 2次元画像分類において、200万パラメータのCCNNはCIFAR-100で95.20％の正確度を達成し、ResNet-18や他の先行モデルを著しく上回った。
• 生の音声分類（MFCC 0.5x）では98.44％の正確度を達成し、S4や他のSOTA手法を上回った。
• 2次元データ（例：画像）で学習したモデルは、1次元にフラット化した対応モデルよりも高速に収束した。これは、空間的構造を保持することの利点を示している。
• sMNISTでは99.72％、pMNISTでは98.84％の正確度を達成し、S4 や LSSL などの特化型アーキテクチャと同等またはそれ以上の性能を示した。