[論文レビュー] Deep Scale-spaces: Equivariance Over Scale

Daniel E. Worrall, Max Welling|arXiv (Cornell University)|May 28, 2019

Computer Graphics and Visualization Techniques参考文献 40被引用数 43

ひとこと要約

この論文はディープスケールスペースを導入する。CNNの半群同変拡張で、スケール同変なクロス相関を実現し、標準アーキテクチャ内でマルチスケール情報を統合可能。Patch CamelyonとCityscapesでの結果を改善し、同変性の特性を分析する。

ABSTRACT

We introduce deep scale-spaces (DSS), a generalization of convolutional neural networks, exploiting the scale symmetry structure of conventional image recognition tasks. Put plainly, the class of an image is invariant to the scale at which it is viewed. We construct scale equivariant cross-correlations based on a principled extension of convolutions, grounded in the theory of scale-spaces and semigroups. As a very basic operation, these cross-correlations can be used in almost any modern deep learning architecture in a plug-and-play manner. We demonstrate our networks on the Patch Camelyon and Cityscapes datasets, to prove their utility and perform introspective studies to further understand their properties.

研究の動機と目的

• CNNにおける視覚タスクの固有のスケール対称性のため、スケール処理を明示的に導入する必要性を動機づける。
• 非可逆なスケール変換を扱うため、半群同変相関へ畳み込みを一般化する。
• スケール空間理論をプレPlug-and-play CNN操作へ組み込み、マルチスケール情報を融合する。
• 医療（Patch Camelyon）と都市景観データ（Cityscapes）でスケール同変ネットワークを評価する。
• 有限スケール実装における同変性の品質と境界効果を分析する。

提案手法

• 信号をスケール空間作用で変換し、半群領域全体でフィルタと内積を計算する半群相関を定義する。
• ガウシアンブラーと異方性ダウンサンプリングを組み合わせたスケール空間作用に半群相関を特化する。
• スケール変換を半群インデックスの単純なシフトとして作用させるよう入力をスケール空間領域にリフトする。
• リフト表現で拡張し、拡張に対応するダイレーションはスケールを上下させ、スケール間で膨張畳み込みを行う。
• 境界効果を緩和し表現力を保つため、異なるスケール次元のカーネルを入れ替える（interleave）。”],

実験結果

リサーチクエスチョン

• RQ1 CNNにおいて非可逆な（半群）としてのスケール変換をどのようにモデリングできるか。
• RQ2 半群同変相関は深層学習アーキテクチャに適したスケール同変表現を生み出せるか。
• RQ3 スケール同変ネットワークは実世界のマルチスケール変動をもつ視覚タスクで非同変ベースラインより性能を向上させるか。
• RQ4 Deep Scale-spaces をCNNに実装する際の実用的な影響と制限（境界効果、計算オーバーヘッド）とは何か。

主な発見

PCam Model	Accuracy	Cityscapes Model	mAP
DenseNet Baseline	87.0	ResNet, matched parameters	45.66
S-DenseNet (Ours)	88.1	ResNet, matched channels	49.99
(Veeling et al., 2018)	89.8	S-ResNet, multiscale (Ours)	63.53
		S-ResNet, no interaction (Ours)	64.78

• 半群理論に基づくスケール同変クロス相関はCNN内でマルチスケール情報融合を可能にする。
• 実験は、Patch CamelyonとCityscapesのタスクで非同変ベースラインを上回ることを示した。
• 同変性の品質は高く保たれ、境界効果が顕著になるまで平均誤差は通常< 0.01。
• スケール次元1と高次元の相関を入れ替えることは性能を向上させ、境界問題の緩和に寄与する。
• Patch Camelyon で S-DenseNet は 88.1% の正解率、ベースライン 87.0% に対して達成；Veeling らは 89.8% に到達。
• Cityscapes では、マルチスケール相互作用付きの S-ResNet は 63.53% の mAP、相互作用なしで 64.78% を達成し、同等のパラメータを持つベースライン（45.66% と 49.99%）を上回った。