[論文レビュー] Modelling Long Range Dependencies in $N$D: From Task-Specific to a General Purpose CNN

David M. Knigge, David W. Romero+6 more|arXiv (Cornell University)|Jan 25, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、入力の次元、解像度、長さが任意であるにもかかわらず、アーキテクチャの変更なしに長距離依存関係をモデル化できる一般化されたCNNアーキテクチャ、連続畳み込みニューラルネットワーク（CCNN）を提案する。CCNNは、1次元、2次元、3次元のタスクにおいて、最先端または競争力のある性能を達成しており、特にパrameter数を最小限に抑えながらLong Range ArenaベンチマークでTransformerを上回っている。

ABSTRACT

Performant Convolutional Neural Network (CNN) architectures must be tailored to specific tasks in order to consider the length, resolution, and dimensionality of the input data. In this work, we tackle the need for problem-specific CNN architectures. We present the Continuous Convolutional Neural Network (CCNN): a single CNN able to process data of arbitrary resolution, dimensionality and length without any structural changes. Its key component are its continuous convolutional kernels which model long-range dependencies at every layer, and thus remove the need of current CNN architectures for task-dependent downsampling and depths. We showcase the generality of our method by using the same architecture for tasks on sequential ($1{ m D}$), visual ($2{ m D}$) and point-cloud ($3{ m D}$) data. Our CCNN matches and often outperforms the current state-of-the-art across all tasks considered.

研究の動機と目的

• 入力長、解像度、次元に特化したタスク固有のCNNアーキテクチャの必要性を排除すること。
• 同じCNNアーキテクチャで、構造的変更なしに任意の解像度、次元、長さのデータを処理できること。
• 離散的で固定サイズのカーネルではなく、パラメータ化された連続畳み込みカーネルを用いて、長距離依存関係を効率的にモデル化すること。
• 順序データ、画像、点群データなど多様なデータモダリティに一般化できることを示し、一貫した性能を発揮すること。
• ボクセル化やグリッド表現を必要とせず、不規則にサンプリングされた非一様構造のデータ（例：点群）をネイティブに処理できること。

提案手法

• 空間座標を入力として、小さなニューラルネットワーク（カーネルネットワーク）を用いてカーネルを連続関数としてパラメータ化し、カーネルサイズとパラメータ数を分離する。
• 座標入力の次元（1次元、2次元、3次元）を変更することで、同じカーネルネットワークを異なるデータモダリティに適用する。
• 連続ドメインにおける統合を用いて連続畳み込みを実装し、パrameter数を増加させずに任意のカーネルサイズを実現する。
• カーネルネットワークをエンドツーエンドで学習させ、空間的依存関係の連続的表現を学習することで、長距離相互作用をモデル化可能にする。
• 特に大きなカーネルに対して計算効率を向上させるために、フーリエ畳み込み技術を活用する。
• 1次元時系列、2次元画像、3次元点群といった多様なタスクに、アーキテクチャの変更やモダリティごとのハイパーパrameterチューニングなしに同じCCNNアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 同じCNNアーキテクチャで、構造的変更なしに1次元、2次元、3次元データに一般化可能か？
• RQ2 深さやプーリング層に依存せず、連続畳み込みカーネルが長距離依存関係を効果的にモデル化可能か？
• RQ3 連続的カーネルパラメータ化が、異なる解像度やサンプリングパターンにおいてより良い一般化を可能にするか？
• RQ4 極めて小さなCCNNがスパースな3次元点群データで強力な性能を発揮できるか？また、大きなモデルが性能を発揮できない理由は何か？
• RQ5 CCNNは、グリッド変換や補間を必要とせず、不規則にサンプリングされたデータをネイティブに処理できるか？

主な発見

• CCNNはLong Range Arenaベンチマークで最先端の性能を達成し、6,380パラメータのモデルがPathfinderで96.00%、2次元画像タスクで91.12%の精度を達成した。
• ModelNet40では、6,380パラメータのCCNNが、200kおよび200万パラメータのより大きなモデルを上回り、点群データで91.12%の精度を達成した。
• CCNNはデータ表現に一般化可能である：生の点群データで90.99%、ボクセル化されたバージョンで90.64%の精度を達成し、入力形式に強く依存しない堅牢性を示した。
• 6k～48kパラメータの小さなCCNNが3次元点群でより優れた性能を発揮し、スパarsityとアリーアスィングが大きなモデルの性能を制限している可能性を示唆した。
• 連続的カーネル定式化により、グリッド変換や補間を必要とせず、不規則にサンプリングされたデータをネイティブに処理可能である。
• CCNNは、パラメータ数を著しく減らしながらも、Transformer や S4 などの特化型モデルと同等またはそれ以上の性能を複数のベンチマークで示した。