[論文レビュー] ViT-FOD: A Vision Transformer based Fine-grained Object Discriminator

Zi-Chao Zhang, Zhen-Duo Chen+3 more|arXiv (Cornell University)|Mar 24, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

ViT-FOD は、視覚変換器ベースのフレームワークを提示し、細分化された視覚分類の性能を向上させるために、3つの新規なコンponentを導入する。すなわち、多層クラストークン統合のための補完的トークン統合（CTI）、背景低減のためのパッチスワッピングによるデータ拡張のための注目パッチ結合（APC）、および判別的局所領域に注目するための臨界領域フィルタ（CRF）である。本手法は、CUB-200-2011 で 91.75% の最先端性能を達成した。

ABSTRACT

Recently, several Vision Transformer (ViT) based methods have been proposed for Fine-Grained Visual Classification (FGVC).These methods significantly surpass existing CNN-based ones, demonstrating the effectiveness of ViT in FGVC tasks.However, there are some limitations when applying ViT directly to FGVC.First, ViT needs to split images into patches and calculate the attention of every pair, which may result in heavy redundant calculation and unsatisfying performance when handling fine-grained images with complex background and small objects.Second, a standard ViT only utilizes the class token in the final layer for classification, which is not enough to extract comprehensive fine-grained information. To address these issues, we propose a novel ViT based fine-grained object discriminator for FGVC tasks, ViT-FOD for short. Specifically, besides a ViT backbone, it further introduces three novel components, i.e, Attention Patch Combination (APC), Critical Regions Filter (CRF), and Complementary Tokens Integration (CTI). Thereinto, APC pieces informative patches from two images to generate a new image so that the redundant calculation can be reduced. CRF emphasizes tokens corresponding to discriminative regions to generate a new class token for subtle feature learning. To extract comprehensive information, CTI integrates complementary information captured by class tokens in different ViT layers. We conduct comprehensive experiments on widely used datasets and the results demonstrate that ViT-FOD is able to achieve state-of-the-art performance.

研究の動機と目的

• 標準のビジョン変換器が細分化視覚分類において抱える限界、特に複雑な背景での冗長な計算と、多層クラストークン表現の未利用を是正すること。
• 非情報的背景パッチを別の画像からの判別的パッチに置き換えることで、ViT の計算の冗長性を低減する、新しいパッチ結合メカニズムを用いること。
• 顕著なオブジェクト部のトークンを優先する学習可能なフィルタを用いて、臨界的で判別的な領域に注目することで、特徴学習を向上させること。
• 最終層のみに依存するのではなく、複数の ViT 層におけるクラストークンからの補完的特徴を統合することで、分類性能を向上させること。
• 既存の CNN や ViT ベース手法を上回る、より効率的で正確な細分化オブジェクト認識フレームワークを開発すること。

提案手法

• 補完的トークン統合（CTI）は、ViTエンコーダーの複数層からのクラストークンを統合し、グローバルおよび細分化された特徴を捉えることで、表現学習を向上させる。
• 注目パッチ結合（APC）は、2つの入力画像からの有用なパッチを組み合わせることで、新しい訓練画像を生成し、背景ノイズを低減し、効果的なデータ拡張を可能にする。
• 臨界領域フィルタ（CRF）は、学習可能なしきい値（η）を用いて低注目トークンをフィルタリングし、判別的オブジェクト部にモデルを集中させ、冗長な計算を低減する。
• APCモジュールは、2つの画像の注目スコアに基づいてパッチをスワップし、背景パッチを別の画像からの高注目パッチに置き換えることで、より情報量の多い入力を生成する。
• CRFモジュールは、クラストークンの注目マップに学習可能なマスクを適用し、分類に最も関連性のあるトークンのみを保持する。η はフィルタのスパarsityを制御する。
• 全体のフレームワークは、CTI、APC、CRF をビジョン変換器バックボーンに統合し、改善された特徴抽出と分類精度を実現するエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な背景を持つ細分化画像を処理する際の冗長計算を低減するため、ビジョン変換器をどのように改善できるか？
• RQ2 ViT の複数層からのクラストークン統合は、最終層のみを用いる場合と比較して、細分化特徴表現を向上させることができるか？
• RQ3 別の画像からの情報的パッチに背景パッチを置き換えるパッチ結合メカニズムを用いることで、FGVCにおける一般化性能と性能が向上するか？
• RQ4 最も判別的な領域に注目する学習可能なフィルタは、モデルの精度と学習効率を向上させることができるか？
• RQ5 ViTベースの細分化分類の文脈において、提案された ViT-FOD フレームワークは、CutMix や MixUp のような標準的なデータ拡張手法と比較してどうなるか？

主な発見

• ViT-FOD は CUB-200-2011 データセットで 91.75% の最先端精度を達成し、ベースラインの ViT-B/16 よりも 1.95 パcent point 高かった。
• 臨界領域フィルタ（CRF）の最適なハイパーパramータ η は 0.2 であり、これが最高の性能をもたらした。これは、低注目トークンをフィルタリングすることで分類精度が向上することを示している。
• 注目パッチ結合（APC）モジュールは、p=4 の際に最高の精度を達成した。この場合、画像が4つの部分に分割され、パッチスワップが行われ、特徴の粒度と計算効率のバランスが取れている。
• 標準的なデータ拡張手法と比較すると、APC は Cutout（89.4%）、Mixup（90.1%）、CutMix（90.3%）を上回り、91.2% の精度を達成した。これは、ViTベースの FGVC において、APC の優位性を示している。
• アブレーションスタディの結果、CTI、APC、CRF はすべて性能に顕著な寄与をしていることが確認され、全モデルが評価されたすべてのデータセットで最良の結果を出した。
• CRF マスクの可視化結果から、本手法は物体領域を効果的に強調し、背景パッチを抑制していることが確認され、判別的部分に注目できる能力を有していることが裏付けられた。