[論文レビュー] Revisiting Spatial Invariance with Low-Rank Local Connectivity

Gamaleldin F. Elsayed, Prajit Ramachandran+2 more|arXiv (Cornell University)|Feb 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 10

ひとこと要約

本論文では、共有のベースセットと空間的に変化する重みを組み合わせることで空間的不変性を緩和する低ランク局所接続（LRLC）層を提案する。ベースセットのランクを調整することで、空間的不変性の度合いを制御でき、MNIST、CIFAR-10、CelebAの各データセットで標準畳み込み層および局所接続層を上回る高い精度を達成しており、空間的不変性が過剰に制限的である可能性を示唆している。

ABSTRACT

Convolutional neural networks are among the most successful architectures in deep learning with this success at least partially attributable to the efficacy of spatial invariance as an inductive bias. Locally connected layers, which differ from convolutional layers only in their lack of spatial invariance, usually perform poorly in practice. However, these observations still leave open the possibility that some degree of relaxation of spatial invariance may yield a better inductive bias than either convolution or local connectivity. To test this hypothesis, we design a method to relax the spatial invariance of a network layer in a controlled manner; we create a extit{low-rank} locally connected layer, where the filter bank applied at each position is constructed as a linear combination of basis set of filter banks with spatially varying combining weights. By varying the number of basis filter banks, we can control the degree of relaxation of spatial invariance. In experiments with small convolutional networks, we find that relaxing spatial invariance improves classification accuracy over both convolution and locally connected layers across MNIST, CIFAR-10, and CelebA datasets, thus suggesting that spatial invariance may be an overly restrictive prior.

研究の動機と目的

• 畳み込みネットワークにおける空間的不変性が、画像認識において過剰に制限的であるのを調査すること。
• 微分可能でパラメータ効率の良い方法を設計し、ニューラルネットワーク層における空間的不変性を緩和すること。
• 完全な共有でも完全な独立でもない中間的な空間的不変性度合い—すなわち、標準畳み込み層や局所接続層よりも優れた性能を示すかどうかを検証すること。
• ImageNetのような大規模な視覚タスクへの緩和された空間的不変性の適用可能性を評価すること。

提案手法

• 共有のベースセットとしてのK個のフィルターバンクを用い、線形結合によって局所フィルタを生成する低ランク局所接続（LRLC）層を提案する。
• 各空間的位置で、K個の結合重みを用いてベースセットから一意のフィルターバンクを形成し、ベースと重みの両方がエンドツーエンドで学習される。
• ランクKが空間的不変性の緩和度合いを制御する：K=1は標準畳み込みに対応し、Kが空間サイズに等しい場合は局所接続層に対応する。
• 学習可能なパラメータ数は空間次元に依存せずランクKに比例するため、高解像度の入力に対しても実用的である。
• 入力に応じて結合重みを適応させる入力依存型LRLC層を導入し、アライメントのずれたデータでの性能向上を実現した。
• ResNet-50を用いて、層の挿入または置換により、小規模データセット（MNIST、CIFAR-10、CelebA）および大規模なImageNetで手法の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークにおける空間的不変性は、画像認識において過剰に制限的であるのだろうか？
• RQ2 制御されたパrameter化によって空間的不変性を緩和することで、標準畳み込み層や局所接続層を上回るモデル精度が向上するのだろうか？
• RQ3 緩和された空間的不変性の性能向上効果は、ネットワークの深さや層の位置に依存するのだろうか？
• RQ4 低ランクパラメータ化により、ImageNetのような大規模な視覚タスクに局所接続層を実用化できるのだろうか？

主な発見

• LRLC層は、MNIST、CIFAR-10、CelebAの各データセットで標準畳み込み層を上回るトップ-1精度を達成し、CIFAR-10では最大0.5%の向上を示した。
• CIFAR-10では最適なLRLCランクが4であり、トップ-1精度77.47%を達成。これは標準畳み込み（77.22%）および座標畳み込み（77.23%）を上回った。
• ImageNetの実験では、ResNet-50のすべての3×3畳み込み層をLRLC層に置換した結果、トップ-1精度77.80%を達成。標準ResNet-50（77.48%）および畳み込みベースラインを上回った。
• 入力依存型LRLCバージョンはImageNetで77.80%の精度を達成し、入力固有の空間パターンへの適応性が優れていることが示された。
• LRLC層は局所接続層を上回った。これは、完全な独立性ではなく部分的な空間的不変性が、より有益であることを示している。
• 空間的不変性の緩和が後段の層で行われた際に最も高い性能が得られた。これは、高レベル特徴が空間的変動性の恩恵をより大きく受けることを示唆している。