[論文レビュー] Scale-Equivariant Steerable Networks

Ivan Sosnovik, Michał Szmaja+1 more|arXiv (Cornell University)|Oct 14, 2019

Geometric and Algebraic Topology参考文献 33被引用数 43

ひとこと要約

この論文は、導出可能なスケール・翻訳群上でのスケール畳み込みを実現する steerable filters を用いたスケール不変性ニューラルネットワークの理論を開発し、MNIST-scale および STL-10 で補間を用いず最先端の結果を達成する。

ABSTRACT

The effectiveness of Convolutional Neural Networks (CNNs) has been substantially attributed to their built-in property of translation equivariance. However, CNNs do not have embedded mechanisms to handle other types of transformations. In this work, we pay attention to scale changes, which regularly appear in various tasks due to the changing distances between the objects and the camera. First, we introduce the general theory for building scale-equivariant convolutional networks with steerable filters. We develop scale-convolution and generalize other common blocks to be scale-equivariant. We demonstrate the computational efficiency and numerical stability of the proposed method. We compare the proposed models to the previously developed methods for scale equivariance and local scale invariance. We demonstrate state-of-the-art results on MNIST-scale dataset and on STL-10 dataset in the supervised learning setting.

研究の動機と目的

• CNNにおけるスケール変換を、平移の等変性を超えてどのように扱うかを動機づけ、形式化する。
• テンソルのリサイズを伴わずにスケール等変性畳み込みを可能にするよう、steerable filter のパラメータ化を導入する。
• スケール-翻訳群上のスケール畳み込みのための効率的なアルゴリズムを導出する。
• SESN の計算効率と数値安定性を示す。
• MNIST-scale および STL-10 で、既存のスケール等変性および局所的スケール不変性手法と SESN を経験的に比較する。

提案手法

• フィルタのスケーリングを明示的にするパラメータ化を用いて、スケール変換と steerable filters を定義する（Equation 3）。
• 群等変畳み込みを用いて、スケール-翻訳群H上にスケール畳み込みを構築する（Equation 5–7）。
• 非線形性がスケーリングと可換になるようにして、等変性を保持する（Equation 8）。
• スケール不変表現を得るためのプーリング戦略を提供する（最大スケール射影と空間/グローバルプーリング）。
• テンソルのリサイズを避けるための steerable filter 基底を用いた実用的な実装を提示する（basis ； Gaussian envelope を用いた Hermite 多項式）。
• Conv T->H および Conv H->H のための、インタースケール相互作用オプションを含む効率的な計算方式を提供する（Equations 9–10）。

実験結果

リサーチクエスチョン

• RQ1 平行移動に加えて離散的なスケール因子にも等変性を持つ CNN レイヤをどのように構築するか？
• RQ2 steerable filter のパラメータ化によって、複数のスケールにわたる高速で補間なしのスケール畳み込みを実現できるか？
• RQ3 意味情報を失うことなくスケール不変性を得るための効果的なプーリング戦略は何か？
• RQ4 精度と効率の観点で、SESN は既存のスケール等変性または局所的スケール不変性アーキテクチャとどう比較されるか？

主な発見

• SESN は steerable filters を用いて、任意の離散的なスケール因子に対してスケールおよび平行移動の等変性を達成する。
• 提案されたスケール畳み込みフレームワークは、標準の CNN と同程度の速度で、補間なしの高速な計算を可能にする。
• MNIST-scale で prior のスケール等変性および局所的スケール不変性手法を上回り、スカラーとベクトルの両方の変種で強い改善を示す。
• STL-10 では SESN の変種が監督付き精度の最先端を達成し、いくつかのベースラインを上回る。
• インタースケール相互作用の使用は性能を向上させる可能性があるが、等変性誤差が大きくなる可能性もある。慎重な設計（例：スケール射影）により堅牢な利得を得る。
• 現実的な離散化と深いアーキテクチャの下で低い等変性誤差を示し、その実用可能性を裏付ける。