[論文レビュー] BatchFormerV2: Exploring Sample Relationships for Dense Representation Learning

Zhi Hou, Baosheng Yu+3 more|arXiv (Cornell University)|Apr 4, 2022

Advanced Neural Network Applications被引用数 10

ひとこと要約

BatchFormerV2は、ミニバッチ内のサンプル間の関係をモデル化するプラグアンドプレイ型のバッチTransformerモジュールを導入し、視覚Transformerにおける高密度表現学習を実現する。2ストリーム訓練戦略を用いることで、推論コストを追加せずに、トレーニング中にパッチおよび画像間の情報伝達を可能にし、DETRベースのモデルにおいて、画像分類、オブジェクト検出、パノプティックセグメンテーションの各タスクで最大1.3%の性能向上を達成する。

ABSTRACT

Attention mechanisms have been very popular in deep neural networks, where the Transformer architecture has achieved great success in not only natural language processing but also visual recognition applications. Recently, a new Transformer module, applying on batch dimension rather than spatial/channel dimension, i.e., BatchFormer [18], has been introduced to explore sample relationships for overcoming data scarcity challenges. However, it only works with image-level representations for classification. In this paper, we devise a more general batch Transformer module, BatchFormerV2, which further enables exploring sample relationships for dense representation learning. Specifically, when applying the proposed module, it employs a two-stream pipeline during training, i.e., either with or without a BatchFormerV2 module, where the batchformer stream can be removed for testing. Therefore, the proposed method is a plug-and-play module and can be easily integrated into different vision Transformers without any extra inference cost. Without bells and whistles, we show the effectiveness of the proposed method for a variety of popular visual recognition tasks, including image classification and two important dense prediction tasks: object detection and panoptic segmentation. Particularly, BatchFormerV2 consistently improves current DETR-based detection methods (e.g., DETR, Deformable-DETR, Conditional DETR, and SMCA) by over 1.3%. Code will be made publicly available.

研究の動機と目的

• 現在の視覚Transformerがトレーニング中にサンプル間の関係を活用できないという制限を解決すること。特に、高密度予測タスクにおいて。
• バッチアテンションを画像レベルからピクセル／パッチレベルの表現へ拡張することで、強固な高密度表現学習を実現すること。
• パrametricバッチアテンションモジュールを適用する際のトレーニングとテストの不一致問題を解消すること。
• 推論コストを追加せずに性能を向上させるプラグアンドプレイモジュールを開発すること。
• 画像分類、オブジェクト検出、パノプティックセグメンテーションを含む多様な視覚タスクにおいて、有効性を実証すること。

提案手法

• ミニバッチ内のサンプル間の関係をモデル化する一般化されたバッチTransformerモジュールであるBatchFormerV2を提案。バッチ次元に沿って自己アテンションを適用する。
• 2ストリーム訓練パイプラインを採用：一方のストリームにはBatchFormerV2モジュールを含め、他方には含めない。両ストリーム間で層／ブロックを共有する。
• BatchFormerV2モジュールの前後で共有された分類器ヘッドを用いて、バッチ不変な表現学習を保証する。
• トレーニング中に、画像同士だけでなく、異なるサンプル内のパッチおよびピクセル間の情報伝播を可能にする。
• 推論時にBatchFormerV2モジュールを削除可能であり、追加計算コストなしに実装可能である。
• 視覚Transformerアーキテクチャの複数のブロックにモジュールを適用することで、マルチレベル表現学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ内のサンプル間の関係をモデル化することで、視覚Transformerにおける高密度表現学習が向上するか？
• RQ2 バッチアテンションを画像レベルではなく、ピクセル／パッチレベルに効果的に適用する方法は何か？
• RQ3 推論オーバーヘッドを追加せずに、プラグアンドプレイ型バッチTransformerモジュールをトレーニング可能か？
• RQ4 提案手法は、分類、検出、セグメンテーションを含む多様な視覚タスクで性能向上を達成するか？
• RQ5 データが限られた環境や小規模データセット設定下でも、本手法の性能はどの程度か？

主な発見

• 学習から開始した場合、BatchFormerV2はCIFAR-100でDeiT-Tiを49.2%から58.7%へ9.5%向上、DeiT-Bを52.2%から66.6%へ14.4%向上させる。
• ImageNetでは、BatchFormerV2がDeiT-Tiを72.2%から72.7%へ0.5%向上、DeiT-Sを79.8%から80.4%へ0.6%向上、DeiT-Bを81.7%から82.2%へ0.5%向上させる。
• オブジェクト検出において、BatchFormerV2は全テスト対象のDETRベースモデルでAPが1.3%以上向上する。
• パノプティックセグメンテーションにおいて、BatchFormerV2は複数のバックボーンアーキテクチャで一貫した向上を達成する。
• CIFAR-100のような小規模データセットでは特に効果的であり、ImageNetでは強力なデータオーグメンテーションが効果を限定する可能性がある。
• 2ストリーム訓練戦略により、トレーニングとテストの不一致を効果的に回避でき、プラグアンドプレイ導入が可能で、推論コストはゼロとなる。