[論文レビュー] Scale equivariance in CNNs with vector fields

Diego Marcos, Benjamin Kellenberger+2 more|arXiv (Cornell University)|Jul 31, 2018

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 43

ひとこと要約

この論文は、複数のスケールでフィルターを適用し、活性化を大きさとスケールの2Dベクトル場として表現することで、スケール対応CNNを提案し、MNIST-scale分類の改善とスケール因子回帰の優越を達成している。

ABSTRACT

We study the effect of injecting local scale equivariance into Convolutional Neural Networks. This is done by applying each convolutional filter at multiple scales. The output is a vector field encoding for the maximally activating scale and the scale itself, which is further processed by the following convolutional layers. This allows all the intermediate representations to be locally scale equivariant. We show that this improves the performance of the model by over $20\%$ in the scale equivariant task of regressing the scaling factor applied to randomly scaled MNIST digits. Furthermore, we find it also useful for scale invariant tasks, such as the actual classification of randomly scaled digits. This highlights the usefulness of allowing for a compact representation that can also learn relationships between different local scales by keeping internal scale equivariance.

研究の動機と目的

• 物体の大きさが情報になるタスクにおいて、CNNに局所的なスケール情報を組み込む動機づけ。
• 層を通じてスケール情報を保持するスケール等変性畳み込みフレームワークを提案する。
• MNIST-scale に対して分類とスケール因子回帰の両方で手法を評価する。
• スケール情報を保持することが性能を向上させ、スケール間の関係を学習可能にすることを示す。

提案手法

• 入力を複数のスケールのフィルタで畳み込み、スケールごとにプーリングして位置ごとの最大活性を生成する。
• 最大活性化スケールを2Dベクトルの角度としてエンコードし、大きさを活性化の強さとする。
• 得られたベクトル場を、ベクトル場の大きさとスケールの双方を考慮する畳み込みで処理する。
• スケール相互作用をパラメータ化するために、スケール範囲（角度）を120度と用いる。
• エンドツーエンドで訓練する; 分類にはFC層には大きさを使用し、スケール角度はスケール回帰に寄与する。
• 局所的なスケール等変性を可能にするため、スカラー出力ではなくベクトル場表現（大きさと角度）を維持する。

実験結果

リサーチクエスチョン

• RQ1 局所的なスケール等変性は、スケール変動のある画像分類タスクで性能を改善できるか。
• RQ2 ベクトル場表現を通じてスケール情報を保持することは、スケール因子回帰の性能を向上させるか。
• RQ3 MNIST-scale の分類および回帰タスクにおいて、スケール等変性はスケール不変性とどう比較されるか。
• RQ4 ベクトル場の角度範囲とマルチスケールプーリングが、スケール関係の学習に与える影響は何か。

主な発見

• スケール等変性CNNはMNIST-scale分類で2.44%の誤差を達成し、スケール不変性や標準CNN系を含むいくつかのベースラインを上回る。
• スケール等変性モデルはスケールファクターRMSEを0.206に低減し、標準(0.254)およびスケール不変(0.256)モデルを上回る。
• ベクトル場表現（大きさ+スケール）を用いると、分類で大きさのみの表現（スケール不変）より改善が見られる。
• この手法は、局所的な異なるスケール間の相互作用を学習可能にし、たとえ本質的にスケール不変なタスクでも適用できる。
• 標準CNNと比べて、同等以上の性能を、より少ない学習可能なフィルタ数で達成する。