[論文レビュー] Resolution learning in deep convolutional networks using scale-space theory

Silvia L. Pintea, Nergis Tömen+3 more|arXiv (Cornell University)|Jun 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 90被引用数 5

ひとこと要約

本論文では、N-Jet層を提案する。これは、学習中にフィルタの解像度（ガウススケールパラメータσによる）を学習する、微分可能でスケールスペースに基づく畳み込み層であり、CNNにおける固定サイズのフィルタを置き換える。フィルタを学習可能なガウス微分基底関数の線形結合としてパラメータ化することにより、本手法は入力のスケールに応じてフィルタサイズと受容 field を自動で適応可能にし、手動での解像度ハイパーパrameterチューニングを必要とせずに、分類およびセグメンテーションタスクで最先端の性能を達成する。

ABSTRACT

Resolution in deep convolutional neural networks (CNNs) is typically bounded by the receptive field size through filter sizes, and subsampling layers or strided convolutions on feature maps. The optimal resolution may vary significantly depending on the dataset. Modern CNNs hard-code their resolution hyper-parameters in the network architecture which makes tuning such hyper-parameters cumbersome. We propose to do away with hard-coded resolution hyper-parameters and aim to learn the appropriate resolution from data. We use scale-space theory to obtain a self-similar parametrization of filters and make use of the N-Jet: a truncated Taylor series to approximate a filter by a learned combination of Gaussian derivative filters. The parameter sigma of the Gaussian basis controls both the amount of detail the filter encodes and the spatial extent of the filter. Since sigma is a continuous parameter, we can optimize it with respect to the loss. The proposed N-Jet layer achieves comparable performance when used in state-of-the art architectures, while learning the correct resolution in each layer automatically. We evaluate our N-Jet layer on both classification and segmentation, and we show that learning sigma is especially beneficial for inputs at multiple sizes.

研究の動機と目的

• CNNにおけるデータセットおよびアーキテクチャ固有のハードコードされた解像度ハイパーパrameter（例：フィルタサイズ、ダウンサンプリング）を排除すること。
• 深層ネットワークが手動のチューニングではなく、データから最適な解像度（スケールパラメータσを介して）を学習できるようにすること。
• 畳み込みフィルタの微分可能で連続的なパラメータ化を実現し、解像度のエンドツーエンド最適化を可能にすること。
• σの学習が、精度を損なうことなくマルチスケール入力での性能向上に寄与することを示すこと。
• 性能の低下を伴わずに、さまざまなアーキテクチャやデータセットに一般化できること。

提案手法

• N-Jet層は、係数αとスケールσによってパラメータ化されたガウス微分基底関数の線形結合として畳み込みフィルタを表現する。
• スケールσは、フィルタの空間的広がりとエンコードされる詳細のレベルの両方を制御し、連続的な解像度学習を可能にする。
• 本手法は、フィルタの近似に切り捨てられたテイラー級数（N-Jet）を用い、σを介したバックプロパゲーションが明確な勾配によって可能になる。
• フィルタは自己相似性を持つ：σを変更することでフィルタサイズがスケーリングされつつ形状が保持されるため、解像度の適応が可能になる。
• ネットワークは標準的なバックプロパゲーションを用いて、α（フィルタ形状）とσ（解像度）をエンドツーエンドで最適化する。
• 本手法は、標準的な畳み込み層をN-Jet層に置き換えることで、入力スケールに応じて受容 field のサイズを自動で適応可能にする。

Figure 1: Illustration of how an N-Jet Gaussian derivative basis parametrizes the shape and size of the filters. A linear combination of Gaussian derivative basis filters (left) weighted by $\alpha$ parameters span a Taylor series to locally approximate the shape of image filters. The filters are se

実験結果

リサーチクエスチョン

• RQ1 深層CNNは、固定されたフィルタサイズやダウンサンプリング層がハードコードされていなくても、データから最適な解像度（すなわち受容 field サイズ）を学習できるか？
• RQ2 連続的かつ微分可能な方法でスケールパラメータσを学習することで、マルチスケール入力での性能が向上するか？
• RQ3 N-Jet層は、性能の低下を伴わずにさまざまなアーキテクチャやデータセットに一般化できるか？
• RQ4 標準CNNと比較して、N-Jetモデルの有効受容 field (eRF) サイズは入力画像サイズに比例してどのようにスケーリングされるか？
• RQ5 σの学習に伴う計算コストは、標準畳み込みと比較してどれほど高く、自動解像度適応の利点を上回るか？

主な発見

• N-Jet層は、ImageNetおよびCityscapesにおいて、精度を損なわずに標準CNNと同等の性能を達成しており、解像度を精度を落とさずに学習可能であることを示している。
• 本手法は、初期層でより小さいσ値（例：約5×5の等価カーネルサイズ）を自動で学習し、深層部ではより大きなσ値（例：約11×11の等価）を学習し、特徴階層に応じた適応を行う。
• マルチスケールFashion-MNISTでは、N-Jetモデルの有効受容 field (eRF) サイズが入力サイズに比例してスケーリングされる一方、固定3×3カーネルを持つベースラインモデルはeRFを一定に保つ。
• N-Jetモデルは、ベースラインのNiNモデルと比較して約2倍遅延するが、これはガウス基底関数およびエルミート多項式の計算コストに起因する。
• 計算コストの増加にもかかわらず、本手法はフィルタサイズやダウンサンプリング戦略に対する時間のかかるハイパーパrameterサーチの必要性を排除する。
• 本手法は良好な一般化性能を示しており、Pre-trainedバックボーン（例：DeepLab）を用いた場合でも性能を維持する。

Figure 2: Representing local image structure with a linear combination of Gaussian basis filters. The patch (left) , $F(x,y,0;\sigma)$ , is modeled by up to second order Gaussian derivatives, using six $\alpha$ -coefficients.