[論文レビュー] MlTr: Multi-label Classification with Transformer

Cheng Xing, Hezheng Lin+6 more|arXiv (Cornell University)|Jun 11, 2021

Text and Document Classification Technologies被引用数 4

ひとこと要約

本稿では、小サイズの物体、類似物体、共起する物体同士の依存関係といったCNNの限界を解消するための、マルチラベル画像分類向けの新しいトランスフォーマー基盤アーキテクチャ、MlTrを提案する。窓分割、窓内ピクセル注意、および窓間注意を統合することで、MS-COCOで88.5%のmAP、Pascal-VOCで95.8%、NUS-WIDEで66.3%のSOTA性能を達成した。

ABSTRACT

The task of multi-label image classification is to recognize all the object labels presented in an image. Though advancing for years, small objects, similar objects and objects with high conditional probability are still the main bottlenecks of previous convolutional neural network(CNN) based models, limited by convolutional kernels' representational capacity. Recent vision transformer networks utilize the self-attention mechanism to extract the feature of pixel granularity, which expresses richer local semantic information, while is insufficient for mining global spatial dependence. In this paper, we point out the three crucial problems that CNN-based methods encounter and explore the possibility of conducting specific transformer modules to settle them. We put forward a Multi-label Transformer architecture(MlTr) constructed with windows partitioning, in-window pixel attention, cross-window attention, particularly improving the performance of multi-label image classification tasks. The proposed MlTr shows state-of-the-art results on various prevalent multi-label datasets such as MS-COCO, Pascal-VOC, and NUS-WIDE with 88.5%, 95.8%, and 65.5% respectively. The code will be available soon at https://github.com/starmemda/MlTr/

研究の動機と目的

• マルチラベル画像分類における3つの主要な課題、すなわち小サイズ物体の認識、類似物体の混同、頻繁な共起による誤分類を特定し、それらに対処すること。
• マルチラベル設定においてCNNの誘導的バイアスと長距離依存性の学習限界を克服すること。
• マルチラベルタスクに特化したトランスフォーマー基盤アーキテクチャを設計し、グローバルおよびローカルな特徴表現を向上させること。
• 局所的領域間の空間的依存関係モデリングを強化する、新しい注目メカニズム「クロスウインドウ注意」を導入すること。
• オブジェクトに特化したトークンと最適化された損失関数（アーキシグモイドを含む）を用いて、モデルの汎化性能を向上させること。

提案手法

• 入力画像を重複のない窓に分割することで、局所的計算を可能にしつつも空間的構造を保持する。
• 各窓に対してインライン自注意を適用し、微細なピクセルレベルの表現を捉え、小サイズの物体を局所化する。
• 窓間注意を用いて異なる窓間の特徴を集約し、長距離の空間的依存関係をモデル化し、曖昧な局所的予測を解消する。
• 最終層にオブジェクトに特化したトークンを導入し、予測ラベル数を動的に決定することで、変動するラベル数に適応性を高める。
• 特徴埋め込み間のコサイン類似度をスケーリングすることで学習を安定化させるため、アーキシグモイド損失関数を用いる。最適な性能はスケーリング係数s=8で達成される。
• 最終的に、バイナリクロスエントロピーとアーキシグモイド損失の組み合わせにより、エンドツーエンドで学習させ、特徴分布の最適化と汎化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤アーキテクチャは、CNNベースの特徴抽出におけるダウンサンプリングで失われる小サイズの物体を、どのようにより効果的に処理できるか？
• RQ2 窓間注意は、バックパックとハンドバッグのような非常に類似した物体を区別する能力を、どの程度向上できるか？
• RQ3 グローバルな空間的関係を捉える自己注意メカニズムは、特定の物体クラスの頻繁な共起による誤分類を低減できるか？
• RQ4 オブジェクトに特化したトークンの統合は、マルチラベル状況における変動するラベル数の予測能力に、どのように影響を与えるか？
• RQ5 マルチラベル分類タスクにおけるmAP向上のための、アーキシグモイド損失関数の最適な設定は何か？

主な発見

• MlTrは、MS-COCOデータセットで88.5%のmAPを達成し、以前のSOTA手法を大きく上回るSOTA性能を発揮した。
• Pascal-VOCでは95.8%のmAPを達成し、多様なオブジェクトカテゴリーや複雑なシーンにおいても強力な汎化性能を示した。
• NUS-WIDEでは66.3%のmAPを達成し、CF1（65.0）とOF1（75.8）の向上を示し、より良いラベルの一貫性と精度を示した。
• アブレーションスタディの結果、窓間注意は+1.0 mAPの貢献を示し、長距離空間的依存関係モデリングにおけるその重要性を裏付けた。
• 小サイズの物体に対しては、mAPをResNet101の68.8から77.6へと向上させ、約10ポイントの向上を達成し、微細なディテール検出の有効性を確認した。
• t-SNEを用いた可視化により、MlTrが類似するオブジェクトクラス（例：スキーとスノーボード、リモコンと携帯電話）をよりよく分離し、誤った共起バイアスを回避していることが確認された。