[論文レビュー] Group Generalized Mean Pooling for Vision Transformer

Byungsoo Ko, Han‐Gyu Kim+5 more|arXiv (Cornell University)|Dec 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、ビジョントランスフォーマー向けにグループ化された一般化平均（GGeM）プーリングを提案する。この手法は、チャネル特徴をグループに分割し、各グループに対して学習可能なGeMプーリングを適用することで、チャネルごとの重要度をよりよく捉える。GGeMはImageNet-1Kでトップ1精度を0.1–0.7%向上させ、ViT-BaseおよびViT-Largeでも最先端の結果を達成するとともに、画像検索およびマルチモーダル学習タスクでもベースラインを上回る性能を示した。

ABSTRACT

Vision Transformer (ViT) extracts the final representation from either class token or an average of all patch tokens, following the architecture of Transformer in Natural Language Processing (NLP) or Convolutional Neural Networks (CNNs) in computer vision. However, studies for the best way of aggregating the patch tokens are still limited to average pooling, while widely-used pooling strategies, such as max and GeM pooling, can be considered. Despite their effectiveness, the existing pooling strategies do not consider the architecture of ViT and the channel-wise difference in the activation maps, aggregating the crucial and trivial channels with the same importance. In this paper, we present Group Generalized Mean (GGeM) pooling as a simple yet powerful pooling strategy for ViT. GGeM divides the channels into groups and computes GeM pooling with a shared pooling parameter per group. As ViT groups the channels via a multi-head attention mechanism, grouping the channels by GGeM leads to lower head-wise dependence while amplifying important channels on the activation maps. Exploiting GGeM shows 0.1%p to 0.7%p performance boosts compared to the baselines and achieves state-of-the-art performance for ViT-Base and ViT-Large models in ImageNet-1K classification task. Moreover, GGeM outperforms the existing pooling strategies on image retrieval and multi-modal representation learning tasks, demonstrating the superiority of GGeM for a variety of tasks. GGeM is a simple algorithm in that only a few lines of code are necessary for implementation.

研究の動機と目的

• チャネルの活性化パターンに関係なくすべてのチャネルを同等に扱う既存のプーリング戦略の限界を解決すること。
• 標準的な平均プーリング、マックスプーリング、またはGeMプーリングでは考慮されない、ViTの活性化マップにおけるチャネルごとの差異を活用することで特徴表現を向上させること。
• マルチヘッドアテンションアーキテクチャに適合するシンプルで効果的なプーリング機構を設計し、ヘッド間の依存性を軽減し、グローバル特徴学習を強化すること。
• 画像分類、画像検索、マルチモーダル表現学習を含む多様なビジョンタスクにおいて、GGeMプーリングの有効性を実証すること。
• 最小限のアーキテクチャ的変更で、ViT-BaseおよびViT-LargeがImageNet-1Kで新たな最先端性能を達成すること。

提案手法

• ビジョントランスフォーマーのエンコーダーに含まれるアテンションヘッド数に基づいて、最終特徴マップのチャネルを複数のグループに分割する。
• 各グループ内で共通の学習可能なプーリングパラメータを用いて、一般化平均（GeM）プーリングを独立して適用する。
• GGeM演算を次式で定式化する：$ y_g = \left( \frac{1}{N_g} \sum_{i \in G_g} x_i^p \right)^{1/p} $、ここで$ G_g $は第g番目のチャネルグループ、$ p $はグループごとに学習可能なパラメータである。
• 最終層のクラストークンまたは平均プーリングの置き換えとしてGGeMを統合し、エンドツーエンド学習を可能にする。
• 各グループ内での空間的位置にかかわらず同じプーリングパラメータを用いることで、空間構造を保持しつつ重要なチャネルに注目する。
• ImageNet-1K、CUB200、Cars196、SOP、およびFlickr30kやMSCOCOといったマルチモーダルベンチマークで、GGeMプーリングを用いたViTモデルの学習および微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 プーリング戦略は、ビジョントランスフォーマーにおける勾配集中とアテンションヘッドの特化にどのように影響するか？
• RQ2 プーリング処理におけるチャネルのグループ化は、ヘッド間の類似性を低減させ、ViTにおける特徴の多様性を向上させるか？
• RQ3 各チャネルグループごとに別々のプーリングパラメータを学習させることは、すべてのチャネルで共通のプーリングを用いる場合よりも優れた性能をもたらすか？
• RQ4 画像分類、検索、マルチモーダルタスクの各分野において、GGeMプーリングは平均プーリング、マックスプーリング、GeMプーリングと比較して、精度および一般化性能で優れているか？
• RQ5 GGeMプーリングは、ビジョンモデルの事前学習および微調整の両設定で効果的に適用可能か？

主な発見

• GGeMプーリングは、ViT-BaseとViT-Largeの両方において、ImageNet-1Kで71.5%というトップ1精度の新記録を樹立し、ベースラインプーリング手法を0.1–0.7ポイント上回った。
• CUB200データセットでは、GGeMはR@1が75.2%、RPが45.0%、mAPが34.6%を達成し、GeM（75.0%、44.1%、34.1%）およびマックスプーリング（74.6%、43.6%、33.1%）を上回った。
• マルチモーダルゼロショット検索では、Flickr30kでGGeMはR@1が11.5%、R@5が27.7%を達成し、GeM（10.7%、26.9%）およびマックスプーリング（9.9%、25.7%）を上回った。
• 14のベンチマークにおけるゼロショット画像分類精度の平均で、クラストークンベースラインに対して1.0%の向上を示した。
• 分析の結果、GGeMはヘッド間類似性を低減させ、プーリングパラメータ$ p $が増加するにつれて、グローバル情報に注目するヘッドの数が増加することが明らかになった。
• 実装には数行のコードで十分であり、既存のViTフレームワークへの統合が容易で、実用性の高さを示した。