[論文レビュー] BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning

Zhi Hou, Baosheng Yu+1 more|arXiv (Cornell University)|Mar 3, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

BatchFormerは、ミニバッチ内のサンプル同士の関係を学習するためのプラグアンドプレイ型トランスフォーマーモジュールを導入し、トレーニング中にクロスサンプル知識移転を可能にすることで、低ショットおよびテールクラス認識において特に効果を発揮する。分類器をモジュールの前後で共有することで推論時のオーバーヘッドを排除し、追加のコンponentを用いずに、ロングテール認識、ゼロショット学習、ドメイン一般化、対照的学習の分野で最先端の性能を達成する。

ABSTRACT

Despite the success of deep neural networks, there are still many challenges in deep representation learning due to the data scarcity issues such as data imbalance, unseen distribution, and domain shift. To address the above-mentioned issues, a variety of methods have been devised to explore the sample relationships in a vanilla way (i.e., from the perspectives of either the input or the loss function), failing to explore the internal structure of deep neural networks for learning with sample relationships. Inspired by this, we propose to enable deep neural networks themselves with the ability to learn the sample relationships from each mini-batch. Specifically, we introduce a batch transformer module or BatchFormer, which is then applied into the batch dimension of each mini-batch to implicitly explore sample relationships during training. By doing this, the proposed method enables the collaboration of different samples, e.g., the head-class samples can also contribute to the learning of the tail classes for long-tailed recognition. Furthermore, to mitigate the gap between training and testing, we share the classifier between with or without the BatchFormer during training, which can thus be removed during testing. We perform extensive experiments on over ten datasets and the proposed method achieves significant improvements on different data scarcity applications without any bells and whistles, including the tasks of long-tailed recognition, compositional zero-shot learning, domain generalization, and contrastive learning. Code will be made publicly available at https://github.com/zhihou7/BatchFormer.

研究の動機と目的

• ロングテールクラス分布、ドメインシフト、未知クラスといったデータ不足の課題に対処すること。
• 従来の手法が入力または損失関数を通じてのみサンプル間関係を探るのに対し、深層ニューラルネットワークの内部構造を通じて関係を学習するという制限を克服すること。
• トレーニング中に各ミニバッチ内のサンプル同士の関係を暗黙的に学習・活用できるように、深層ニューラルネットワークを設計すること。
• 分類器をBatchFormerモジュールの前後で共有することで、バッチベースの表現学習におけるトレーニングと推論のギャップを低減し、推論時におけるモジュールの削除を可能にすること。

提案手法

• ミニバッチ内の各サンプルをシーケンス内のトークンとして扱い、標準的なトランスフォーマーエンコーダーを用いてサンプル間の関係をモデル化するBatchFormerモジュールを導入する。
• BatchFormerをバッチ次元に適用することで、各サンプルの損失がミニバッチ内すべての他のサンプルに勾配を伝えるようになり、仮想的なデータオーグメンテーションを効果的に実現する。
• トレーニング中にBatchFormerの前後で分類器を共有することで、バッチ不変な表現学習を強制し、推論時にモジュールを削除可能にする。
• バランシングされたソフトマックスと対照的学習の目的関数を用いて、特にレアクラスにおいて特徴の識別性と一般化性能を向上させる。
• Grad-CAMと勾配解析を用いて、BatchFormerが関連するオブジェクトパーツへの注目を強化し、誤った相関（スプライアスな相関）を低減する仕組みを可視化する。
• バッチサイズ、分類器の共有、バックボーンアーキテクチャの変更に関する広範なアブレーションスタディを実施し、設計選択の妥当性とロバストネスを検証する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ内でのサンプル間関係のモデル化は、データが乏しい状況下での表現学習を改善するか？
• RQ2 バッチ単位のトランスフォーマーモジュールは、ロングテール認識における低ショットおよびテールクラスの特徴学習を向上させるか？
• RQ3 BatchFormerモジュールは、既存のモデルに影響を及げずに統合可能か？
• RQ4 共有分類器機構は、バッチベースの表現学習におけるトレーニングと推論のギャップをどのように低減するか？
• RQ5 BatchFormerは、ゼロショット学習、ドメイン一般化、対照的学習においてどの程度の頑健性向上を実現するか？

主な発見

• BatchFormerは、ロングテール認識、ゼロショット学習、ドメイン一般化、対照的学習の複数のデータ不足タスクにおいて、10以上のデータセットで最先端の性能を達成した。
• ImageNet-LTでは、'All'クラスでトップ1正解率50.9%を達成し、共有分類器を用いたベースラインを上回り、フェイシュット性能も顕著に向上させた。
• BatchFormerを搭載したモデルは収束が早く、わずか38エポックでmoco-v3レベルの性能に到達した。これは、トレーニング効率の向上を示している。
• アブレーションスタディの結果、バッチサイズが128未満の範囲ではBatchFormerの性能がバッチサイズにあまり依存せず、フェイシュットカテゴリではバッチサイズ512が最良の性能を示した。
• Grad-CAMの可視化により、BatchFormerがオブジェクトパーツへの注目を強化し、複雑なシーンにおける誤った背景との相関を抑制することが確認された。
• 勾配解析の結果、よりまれなクラスのサンプルがミニバッチ内の他の画像に対してより大きな勾配を発生させていることが判明し、低ショット学習に有益な暗黙のデータオーグメンテーションが実現していることが示された。