[論文レビュー] PDO-eConvs: Partial Differential Operator Based Equivariant Convolutions

Zhengyang Shen, Lingshen He+2 more|arXiv (Cornell University)|Jul 20, 2020

Medical Imaging and Analysis被引用数 12

ひとこと要約

本稿では、連続回転群（例：p8）への近似的等変換性を達成するため、連続領域における偏微分作用素（PDO）を活用し、数値スキームを用いて離散化する新しい畳み込みニューラルネットワークアーキテクチャ、PDO-eConvsを提案する。本手法は、近似的等変換性のための最初の誤差解析を提供し、2次誤差近似であることを示しており、ImageNetでワイドResNetと比較して12.6%少ないパラメータで最先端の性能を達成する。

ABSTRACT

Recent research has shown that incorporating equivariance into neural network architectures is very helpful, and there have been some works investigating the equivariance of networks under group actions. However, as digital images and feature maps are on the discrete meshgrid, corresponding equivariance-preserving transformation groups are very limited. In this work, we deal with this issue from the connection between convolutions and partial differential operators (PDOs). In theory, assuming inputs to be smooth, we transform PDOs and propose a system which is equivariant to a much more general continuous group, the $n$-dimension Euclidean group. In implementation, we discretize the system using the numerical schemes of PDOs, deriving approximately equivariant convolutions (PDO-eConvs). Theoretically, the approximation error of PDO-eConvs is of the quadratic order. It is the first time that the error analysis is provided when the equivariance is approximate. Extensive experiments on rotated MNIST and natural image classification show that PDO-eConvs perform competitively yet use parameters much more efficiently. Particularly, compared with Wide ResNets, our methods result in better results using only 12.6% parameters.

研究の動機と目的

• 正方形またはヘキサゴナル格子上の離散回転対称性（例：p4m、p6m）に制限された従来の等変換畳み込みニューラルネットワークの限界を解消すること。
• 畳み込みを偏微分作用素（PDO）を用いてモデル化することで、n次元ユークリッド群というより広い連続変換群クラスへの等変換を拡張すること。
• 連続等変換系の離散的実装における誤差を定量的に評価する理論的根拠に基づいた近似スキームを提供すること。
• 得られたPDO-eConvsが、画像分類ベンチマークにおいてより優れたパラメータ効率と性能を達成できることを示すこと。

提案手法

• 畳み込みを偏微分作用素（PDO）の線形結合として定式化することで、連続領域におけるn次元ユークリッド群への正確な等変換性を実現する。
• ユークリッド群のリー代数構造を活用し、平行移動および回転に対して等変換性を持つPDOのシステムを導出する。
• 連続的なPDOシステムを有限差分スキームを用いて離散化し、近似的等変換畳み込み（PDO-eConvs）を生成する。
• 近似誤差を厳密に解析し、2次誤差であることを示しており、近似的等変換ネットワークにおける最初の誤差バインディングを提供する。
• バッチ正規化とチャネル間での重み共有を統合し、パラメータ効率を維持するためにモデルの深さと幅をスケーリングする。
• SGD、ネステロフモーメンタム、学習率の減衰を用いた標準的なトレーニングプロトコルを採用し、構造化されたフィルタ初期化により等変換性を保持する。

実験結果

リサーチクエスチョン

• RQ1 正方形やヘキサゴナル格子の離散的対称性を超えて、連続回転群への等変換性を持つ畳み込みネットワークを設計できるか？
• RQ2 デジタル画像グリッド上で使用するため、連続等変換系を離散化する際の理論的近似誤差は何か？
• RQ3 PDOベースのアプローチは、既存の等変換ネットワークと比較して、より優れたパラメータ効率と性能を達成できるか？
• RQ4 PDO-eConvsの性能は、標準的なResNetやワイドResNetと比較して、精度とパラメータ数の観点でどのように異なるか？

主な発見

• PDO-eConvsは、460万パラメータでCIFAR-100で3.50%のテスト誤差を達成し、ワイドResNet（3650万パラメータで19.25%誤差）を上回る。
• CIFAR-10では、262万パラメータで3.68%の誤差を達成し、G-CNNs（4.94%誤差）とResNet-44（5.61%誤差）を上回る。
• CIFAR-10とCIFAR-100の両方で、ワイドResNetと比較して12.6%のパラメータ効率を達成しながら、優れた精度を維持する。
• PDO-eConvsは、ヘキサゴナル画像表現を必要とせず、同等のパラメータ数でHexaConvを3.26ポイント上回る（CIFAR-10で5.38% vs. 8.64%）。
• PDO-eConvsの近似誤差は2次誤差であることが確認され、連続的等変換性と離散的実装の間の明確で解析可能なトレードオフが裏付けられる。
• 本手法は、G-CNNs や HexaConvs がサポートしない8重回転対称性（p8）への等変換性を実現する。