[論文レビュー] UPANets: Learning from the Universal Pixel Attention Networks

Ching-Hsun Tseng, Shin‐Jye Lee+6 more|arXiv (Cornell University)|Mar 15, 2021

Advanced Neural Network Applications参考文献 37被引用数 7

ひとこと要約

UPANetsは、チャネルワイズアテンションとハイブリッドスイープ・ディレンス接続構造を統合した新しいCNNアーキテクチャを提案する。これにより、グローバルおよびローカル特徴を効果的に捉えることができる。極端な接続設計を活用することで、滑らかな損失ランドスケープを実現し、1台のコンsumer GPUで学習することで、CIFAR-10で96.47%、CIFAR-100で80.29%、Tiny ImageNetで67.67%の最先端の精度を達成した。パラメータ効率が高く、計算リソースを最小限に抑えることができる。

ABSTRACT

Among image classification, skip and densely-connection-based networks have dominated most leaderboards. Recently, from the successful development of multi-head attention in natural language processing, it is sure that now is a time of either using a Transformer-like model or hybrid CNNs with attention. However, the former need a tremendous resource to train, and the latter is in the perfect balance in this direction. In this work, to make CNNs handle global and local information, we proposed UPANets, which equips channel-wise attention with a hybrid skip-densely-connection structure. Also, the extreme-connection structure makes UPANets robust with a smoother loss landscape. In experiments, UPANets surpassed most well-known and widely-used SOTAs with an accuracy of 96.47% in Cifar-10, 80.29% in Cifar-100, and 67.67% in Tiny Imagenet. Most importantly, these performances have high parameters efficiency and only trained in one customer-based GPU. We share implementing code of UPANets in https://github.com/hanktseng131415go/UPANets.

研究の動機と目的

• 画像分類のための、グローバルおよびローカル特徴学習を効果的にバランスさせるCNNアーキテクチャの開発。
• アーキテクチャ的接続性を最適化することで、滑らかで頑健な損失ランドスケープを設計し、学習の安定性と一般化性能を向上。
• 高いパラメータ効率と最小限の計算リソースで最先端のパフォーマンスを達成すること。
• 完全なTransformerアーキテクチャに依存せずに、CNNとアテンションメカニズムの長所を統合すること。
• コンsumerグレードのハードウェア（例：1台のGPU）で効率的な学習が可能になるようにすること。

提案手法

• チャネルごとの重要度に基づいて特徴マップを動的に再キャリブレーションするチャネルワイズアテンションメカニズムを統合。
• 残差接続と畳み込み接続を組み合わせたハイブリッドスイープ・ディレンス接続構造を採用し、特徴の流れと勾配伝播を強化。
• すべての層がその後続のすべての層に接続される「極端な接続設計」を採用することで、最適化の滑らかさと一般化性能を向上。
• 各畳み込みブロックの後にアテンションモジュールを適用し、グローバルな文脈を用いて特徴表現を精緻化。
• 階層的かつ密接続構造を採用することで、多スケール特徴の保持と集約を実現。
• データオーグメンテーションを適用した標準的なクロスエントロピー損失を用いて、1台のコンsumer GPU上でエンドツーエンドでモデルを学習。

実験結果

リサーチクエスチョン

• RQ1 チャネルワイズアテンションを統合したハイブリッドCNNアーキテクチャは、最小限の計算コストで、既存のSOTAモデルを上回る性能を達成できるか？
• RQ2 極端な接続構造は、CNNにおける損失ランドスケープと学習の安定性にどのように影響を与えるか？
• RQ3 完全なTransformerコンponentsを採用しない場合でも、チャネルワイズアテンションはCNNにおける特徴表現をどの程度向上できるか？
• RQ4 高いパラメータ効率を持つネットワークは、CIFAR-10、CIFAR-100、Tiny ImageNetといった標準ベンチマークでSOTAパフォーマンスを達成できるか？
• RQ5 1台のコンsumer GPUで、精度を損なわずに最先端のモデルを学習することは可能か？

主な発見

• UPANetsはCIFAR-10データセットで96.47%のテスト精度を達成し、大多数の既存SOTAモデルを上回った。
• CIFAR-100では80.29%の精度を達成し、より複雑な分類タスクにおいても優れた性能を示した。
• Tiny ImageNetでは67.67%のトップ-1精度に到達し、より大きなデータセットへのスケーラビリティを示した。
• モデルは高いパラメータ効率を示し、最小限の計算オーバーヘッドでこれらの結果を達成した。
• 1台のカスタマーグレードGPUで学習が成功裏に完了し、実用的な展開可能性を示した。
• 極端な接続構造が滑らかな損失ランドスケープをもたらし、学習の安定性と収束性を向上させた。