[論文レビュー] LiftPool: Bidirectional ConvNet Pooling

Jiaojiao Zhao, Cees G. M. Snoek|arXiv (Cornell University)|Apr 2, 2021

Advanced Data Compression Techniques参考文献 38被引用数 9

ひとこと要約

本稿では、信号処理のリフト方式にインspiredされた双方向畳み込みニューラルネットワークプーリング手法LiftPoolを提案する。LiftDownPoolは可逆的で詳細を保持するダウンサンプリングを、LiftUpPoolは洗練されたアップサンプリングを実現し、画像分類およびセマンティックセグメンテーションにおいて最先端の性能を達成するとともに、ノイズや摂動に対する耐性が向上している。

ABSTRACT

Pooling is a critical operation in convolutional neural networks for increasing receptive fields and improving robustness to input variations. Most existing pooling operations downsample the feature maps, which is a lossy process. Moreover, they are not invertible: upsampling a downscaled feature map can not recover the lost information in the downsampling. By adopting the philosophy of the classical Lifting Scheme from signal processing, we propose LiftPool for bidirectional pooling layers, including LiftDownPool and LiftUpPool. LiftDownPool decomposes a feature map into various downsized sub-bands, each of which contains information with different frequencies. As the pooling function in LiftDownPool is perfectly invertible, by performing LiftDownPool backward, a corresponding up-pooling layer LiftUpPool is able to generate a refined upsampled feature map using the detail sub-bands, which is useful for image-to-image translation challenges. Experiments show the proposed methods achieve better results on image classification and semantic segmentation, using various backbones. Moreover, LiftDownPool offers better robustness to input corruptions and perturbations.

研究の動機と目的

• CNNにおける標準的なプーリング操作の情報損失と非可逆性を解消すること。
• 入力のノイズや空間的摂動（シフトや変形など）に対して深層ネットワークの耐性を向上させること。
• 可逆的ダウンサンプリングを活用することで、画像対画像翻訳タスクにおける高品質なアップサンプリングを可能とすること。
• 信号処理分野における可逆的サブバンド分解の利点を、現代の畳み込みネットワークに応用すること。

提案手法

• LiftDownPoolは、スプリット、予測、更新の各ステップを用いたリフト方式により、特徴マップを4つのサブバンド（LL（近似）、LH、HL、HH（詳細））に分解する。
• 予測ステップでは、偶数インデックスの特徴量から奇数インデックスの特徴量を推定し、周波数成分の高い内容を保持する差分（詳細）信号を計算する。
• 更新ステップでは、偶数インデックスの特徴量と差分信号を組み合わせて、ダウンサンプリングされた近似を形成し、完全な可逆性を保証する。
• LiftUpPoolは、記録された詳細サブバンドを用いてLiftDownPoolのプロセスを逆転させ、洗練された高解像度の特徴マップを再構成する。
• このアプローチは、エンコーダ・デコーダアーキテクチャのダウンサンプリングおよびアップサンプリング層に適用され、標準的なMaxPoolおよびMaxUpPoolの代わりに使用される。
• 本手法はさまざまなバックボーンと互換性があり、ResNet、SegNet、DeepLabV3+などのモデルに、アーキテクチャの大規模な見直しを施すことなく統合可能である。

実験結果

リサーチクエスチョン

• RQ1 可逆的プーリング機構は、CNNにおける特徴表現を向上させるとともに、空間的詳細を保持できるか？
• RQ2 LiftDownPoolは、入力のノイズや空間的摂動（シフトや変形など）に対してモデルの耐性を向上させるか？
• RQ3 LiftUpPoolは、セマンティックセグメンテーションタスクにおいてMaxUpPoolよりも優れた品質のアップサンプリングを実現できるか？
• RQ4 LiftPoolは、さまざまなバックボーンおよび画像分類やセマンティックセグメンテーションなどの下流タスクにおいて、どの程度性能を向上させるか？

主な発見

• LiftDownPoolは、ImageNet上で複数のバックボーンを用いてMaxPool、AveragePool、Skipプーリングを上回る最先端の性能を達成した。
• PASCAL-VOC12では、DeepLabV3Plus-ResNet50を用いてmIoUが78.7を達成し、次善のベースライン（Gaussianプーリングで77.4）を上回った。
• SegNetでは、LiftUpPoolがmIoU 68.9を達成し、MaxUpPool（62.7）およびMaxUpPool + BlurPool（64.0）を顕著に上回った。
• 敵対的摂動下で、LiftDownPoolはフレーム間分類変化率（FR）を最大50％まで低減し、優れた安定性を示した。
• シフト不変性の観点では、ResNet18において分類の一貫性が10％以上向上し、空間的シフトに対して強い耐性を示した。
• 本手法は、ネットワークの深さに関わらず高い性能を維持しており、より深いネットワーク（例：ResNet50）は元々高いシフト不変性を示すが、LiftDownPoolは軽量モデルに対しても顕著な向上をもたらした。