[論文レビュー] Scale Steerable Filters for Locally Scale-Invariant Convolutional Neural Networks

Rohan Ghosh, Anupam K. Gupta|arXiv (Cornell University)|Jun 10, 2019

Optical measurement and interference techniques参考文献 11被引用数 35

ひとこと要約

本論文は局所的にスケール不変なCNN（SS-CNN）を構築するための対数放射状調和フィルタを導入し、MNIST-ScaleおよびFMNIST-Scaleでベースラインと比較して性能向上を示す。

ABSTRACT

Augmenting transformation knowledge onto a convolutional neural network's weights has often yielded significant improvements in performance. For rotational transformation augmentation, an important element to recent approaches has been the use of a steerable basis i.e. the circular harmonics. Here, we propose a scale-steerable filter basis for the locally scale-invariant CNN, denoted as log-radial harmonics. By replacing the kernels in the locally scale-invariant CNN \cite{lsi_cnn} with scale-steered kernels, significant improvements in performance can be observed on the MNIST-Scale and FMNIST-Scale datasets. Training with a scale-steerable basis results in filters which show meaningful structure, and feature maps demonstrate which demonstrate visibly higher spatial-structure preservation of input. Furthermore, the proposed scale-steerable CNN shows on-par generalization to global affine transformation estimation methods such as Spatial Transformers, in response to test-time data distortions.

研究の動機と目的

• 回転と平行移動を超える変換認識を組み込んだCNN重みの必要性を動機づける。
• フィルタの正確なスケールステアリングを可能にするスケール・ステアラブル基底（対数放射状調和関数）を提案する。
• スケール・ステアされた基底をSS-CNNに組み込み、エンドツーエンドで訓練する。
• スケール変動データセット（MNIST-Scale、FMNIST-Scale）および局所的なスケール変動での精度と構造保持の向上を実証する。

提案手法

• スケールと方向の両方でステアラブルな対数放射状調和基底フィルタを定義する。
• 各カーネルを複素係数の線形結合の実部として表現し、基底フィルタの実部として用いる。
• スケールステアリング関係 W^s(as)=s^{m-2} e^{-i k log s} (基底の和) を導出し、実数重みのために実部を取る。
• スケールステアされたフィルタで畳み込みを行い、スケールに関して最大プーリングを実施してスケール不変表現を得ることでSS-CNNを構築する。
• MNIST-ScaleおよびFMNIST-Scale上でLocScaleInv-CNN、LocScaleEq-CNN、Spatial Transformerと比較し、同様のパラメータ予算を用いる。

実験結果

リサーチクエスチョン

• RQ1 対数放射状調和スケール・ステアラブルフィルタはCNNにおける正確なスケールステアリングを提供できるか。
• RQ2 SS-CNNはグローバルおよびローカルのスケール変動を持つデータセットで、既存のスケール不変アプローチと比較してロバスト性と精度を向上させるか。
• RQ3 スケールステアリングフィルタはフィルタ構造と中間特徴マップにどのような影響を与えるか。
• RQ4 SS-CNNはテスト時の歪み処理においてSpatial Transformer Networksと比較してどのような性能を示すか。
• RQ5 中心性、スケールサンプリングなどの設計選択は変換感度と性能にどのような影響を与えるか。

主な発見

• SS-CNNはMNIST-ScaleでSpatial Transformer Networksと競合する精度を達成し、いくつかのスケール等価性ベースラインを上回る。
• スケール・ステアラブルなフィルタは一階層のフィルタをより構造的で中心的かつ解釈しやすくし、特徴マップの空間構造の保持に寄与する。
• エラスティック歪みではSS-CNNは頑健で、多くの場合ベースラインを上回り、歪み下での一般化が強いことを示す。
• 局所的なスケール変動に対して、SS-CNNは特に限られた学習データでSpatial Transformerベースラインに対して優れた性能を示す。
• 可視化はSS-CNNの活性化で非スケールステアリングの対比より空間構造の保持が高いことを示唆する。