[論文レビュー] Bio-inspired Min-Nets Improve the Performance and Robustness of Deep Networks

Philipp Grüning, Erhardt Barth|arXiv (Cornell University)|Jan 6, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

この論文では、最小演算を学習されたフィルターパairに適用してAND型の特徴結合を実装するMinブロックに標準的な畳み込みブロックを置き換えることで、バイオインスパイアドな深層学習アーキテクチャであるMin-Netsを提案する。この手法は、パrameter数を減らし、JPEG圧縮アーチファクトへの感受性を低減させながら、CIFAR-10でResNetおよびDenseNetのベースラインを上回る精度と耐性を実現する。

ABSTRACT

Min-Nets are inspired by end-stopped cortical cells with units that output the minimum of two learned filters. We insert such Min-units into state-of-the-art deep networks, such as the popular ResNet and DenseNet, and show that the resulting Min-Nets perform better on the Cifar-10 benchmark. Moreover, we show that Min-Nets are more robust against JPEG compression artifacts. We argue that the minimum operation is the simplest way of implementing an AND operation on pairs of filters and that such AND operations introduce a bias that is appropriate given the statistics of natural images.

研究の動機と目的

• 生物学的メカニズムを模倣することで、深層ニューラルネットワークの性能と耐性を向上させること。
• 学習されたフィルターパairに最小演算を適用することで、特徴表現の効率的なAND型結合が可能かどうかを検討すること。
• このようなメカニズムが、CIFAR-10などの標準ベンチマークおよび圧縮アーチファクト下での影響を評価すること。
• 単純なアーキテクチャ的変更（ブロックをMinブロックに置き換え）が、ハイパーパramータチューニングなしで一貫した向上をもたらすことを示すこと。

提案手法

• Min-Netsは、ResNetおよびDenseNetの標準的な残差ブロックを、2つの深さ方向分離畳み込みに最小演算を適用するMinブロックに置き換えることで構築される。
• 各Minブロックはまず、バッチ正規化とReLUを伴う1×1畳み込みによりチャネル数を拡張する。
• 2つの深さ方向分離畳み込みが、各特徴マップごとにペアのフィルタを学習し、その後、要素ごとの最小演算により出力を結合する。
• 最終的な1×1畳み込みにバッチ正規化とReLUを適用して特徴マップの数を減少させ、残差スキップ接続を適用する。
• 最小演算は、視覚皮質のエンドストップ細胞を模倣する生物学的に妥当なAND結合の近似として機能する。
• ハイパーパramータチューニングは、標準的なトレーニングプロトコルを超えて行わず、ResNetおよびDenseNetに適用する。

実験結果

リサーチクエスチョン

• RQ1 ペアのフィルタに最小演算を適用するMinブロックに標準的な畳み込みブロックを置き換えることで、標準ベンチマークでのネットワーク性能が向上するか？
• RQ2 AND結合の代理としての最小演算は、JPEG圧縮アーチファクトに対する耐性を向上させるか？
• RQ3 Min-Netsの性能は、パrameter効率とテスト誤差の観点から、ベースラインのResNetおよびDenseNetモデルと比べてどうか？
• RQ4 向上した性能と耐性は、AND型特徴結合に起因するのか、それとも特定の実装（最小演算 vs. 乗算）に起因するのか？

主な発見

• Min-Netsは、すべての構成において、対応するResNetおよびDenseNetベースラインよりも低い平均テスト誤差を達成し、パrameter数も少ない。
• 18ブロックのMin-Netバージョンは、200エポック後、CIFAR-10で3.89%のテスト誤差を達成し、ベースラインのResNet-18（4.21%）およびDenseNet-18（4.15%）を上回った。
• Min-NetsはJPEG圧縮下での予測変更率が著しく低く抑えられており、品質Q=90で予測が変更される割合が8%にとどまり、ベースラインモデルと比較して高い。
• 耐性向上は、低レベルの歪み（例：圧縮アーチファクト）に対して感受性が低いハイパーセレクティブなMinユニットに起因するとされる。
• 性能向上は、ResNetおよびDenseNetの両アーキテクチャで一貫しており、Minブロック設計の一般化可能性を示している。
• 結果から、向上の主な要因はAND型特徴結合に起因するものであり、実装の違い（最小演算 vs. 乗算）ではなく、先行研究のFP-netおよびLog-netでも同様の向上が得られたことからも示唆される。