[論文レビュー] Multi-Label Image Classification with Contrastive Learning

Son D. Dao, Ethan Zhao+2 more|arXiv (Cornell University)|Jul 24, 2021

Text and Document Classification Technologies参考文献 47被引用数 16

ひとこと要約

この論文は、マルチヘッドアテンションを用いてラベル固有の画像表現を学習する、マルチラベル画像分類のための新しい対照学習フレームワーク、MulConを提案する。これにより、各ラベルごとに有効なポジティブ／ネガティブサンプルを定義できる。2段階のポolic（バイナリクロスエントロピーと教師付き対照損失の組み合わせ）を用いた訓練により、MulConはCOCOおよびNUS-WIDEデータセットで最先端の性能を達成する。

ABSTRACT

Recently, as an effective way of learning latent representations, contrastive learning has been increasingly popular and successful in various domains. The success of constrastive learning in single-label classifications motivates us to leverage this learning framework to enhance distinctiveness for better performance in multi-label image classification. In this paper, we show that a direct application of contrastive learning can hardly improve in multi-label cases. Accordingly, we propose a novel framework for multi-label classification with contrastive learning in a fully supervised setting, which learns multiple representations of an image under the context of different labels. This facilities a simple yet intuitive adaption of contrastive learning into our model to boost its performance in multi-label image classification. Extensive experiments on two benchmark datasets show that the proposed framework achieves state-of-the-art performance in the comparison with the advanced methods in multi-label classification.

研究の動機と目的

• 標準的な画像レベルの表現では、複数のラベルがあるためポジティブ／ネガティブサンプルの定義が曖昧になるという、対照学習をマルチラベル画像分類に適用する課題に対処すること。
• マルチラベル設定における特徴の区別能を向上させるために、明確にラベルに依存する画像表現を学習するフレームワークを設計すること。
• アテンション機構を用いて画像をラベル固有のコンポonentに分解することにより、マルチラベル状況下での教師付き対照学習を可能にすること。
• 適切に適用された2段階の訓練戦略を用いることで、対照学習がマルチラベル分類を向上させることを実証的に検証すること。

提案手法

• グローバルなクラス固有の埋め込みとローカルなCNN特徴にマルチヘッドアテンションを適用することで、各ラベルに特化した表現を生成するラベルレベルの埋め込みを導入する。
• ラベルレベルの埋め込みのポジティブサンプルを、同じラベルを共有するミニバッチ内の他の画像と定義し、ネガティブサンプルをそのラベルを持たない画像と定義する。
• ラベルレベルの埋め込みに教師付き対照損失（SCL）を適用し、埋め込み空間内でポジティブサンプルを引き寄せ、ネガティブサンプルを引き離す。
• 2段階の訓練手順を採用する：まずラベルレベルの埋め込み上でバイナリクロスエントロピー損失で事前学習を行い、次にBCEとSCLの両方の損失で微調整する。
• 画像エンコーダーが入力を処理する二重ブランチネットワークアーキテクチャを採用し、ラベルレベルの埋め込みヘッドがアテンションを介して各ラベルの表現を生成する。
• 対照損失を活用して、同じラベルに対して画像間の表現の一貫性と整合性を高め、下流の分類性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準的な画像レベルの表現ではポジティブ／ネガティブサンプルの定義が曖昧になるマルチラベル画像分類において、対照学習を効果的に適応できるか？
• RQ2 ラベル固有の画像表現を学習することで、マルチラベル設定における特徴の区別能と分類精度が向上するか？
• RQ3 対照学習がマルチラベルタスクにおけるラベル相関の学習を損なわず、性能を向上させるための訓練戦略は何か？
• RQ4 ラベルレベルの埋め込みは、画像レベルの表現と比較して、個々のラベルに関連する意味的コンテンツをどのように捉えているか？

主な発見

• MulConはMS-COCOおよびNUS-WIDEで最先端の性能を達成し、既存の手法を上回るマルチラベル画像分類性能を示した。
• アブレーションスタディの結果、対照損失を一切使用しないラベルレベルの埋め込みネットワークのみでもmAPが80.8から83.0に向上し、その有効性が示された。
• 画像レベル特徴に直接SCLを適用してもわずかな向上（80.8 vs 81.0 mAP）にとどまり、標準的なマルチラベル設定では限定的な利点しか得られないことが示された。
• SCLを最初から適用して訓練すると性能が低下（81.1 mAP）し、初期段階での対照学習が特徴の区別能を強調しすぎ、ラベル相関の学習を損なう可能性があることが示唆された。
• 2段階の訓練ポリシー（BCEによる事前学習 → BCE + SCLによる微調整）が最良の性能を達成し、その必要性が確認された。
• 定性的な結果では、アテンションマップが正しく対応するオブジェクトを局所化しており、ラベルレベルの埋め込みを用いた画像検索により意味的に関連する画像が正しく検索された。