[論文レビュー] Label Structure Preserving Contrastive Embedding for Multi-Label Learning with Missing Labels

Zhongchen Ma, Lisha Li+2 more|arXiv (Cornell University)|Sep 3, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、欠損ラベル下でのマルチラベル画像分類のための新しいコントラスト損失であるCLMLを提案する。CLMLは、ラベル補正と低ランク構造の保存を統合することで、特徴表現を向上させる。各ラベルごとに正例・負例を正確に特定し、グローバルおよびローカルなラベル依存関係を保持することで、MSCOCO、VOC、NUS-WIDEでResNet101の性能を1.2–1.3%向上させる。

ABSTRACT

Contrastive learning (CL) has shown impressive advances in image representation learning in whichever supervised multi-class classification or unsupervised learning. However, these CL methods fail to be directly adapted to multi-label image classification due to the difficulty in defining the positive and negative instances to contrast a given anchor image in multi-label scenario, let the label missing one alone, implying that borrowing a commonly-used way from contrastive multi-class learning to define them will incur a lot of false negative instances unfavorable for learning. In this paper, with the introduction of a label correction mechanism to identify missing labels, we first elegantly generate positives and negatives for individual semantic labels of an anchor image, then define a unique contrastive loss for multi-label image classification with missing labels (CLML), the loss is able to accurately bring images close to their true positive images and false negative images, far away from their true negative images. Different from existing multi-label CL losses, CLML also preserves low-rank global and local label dependencies in the latent representation space where such dependencies have been shown to be helpful in dealing with missing labels. To the best of our knowledge, this is the first general multi-label CL loss in the missing-label scenario and thus can seamlessly be paired with those losses of any existing multi-label learning methods just via a single hyperparameter. The proposed strategy has been shown to improve the classification performance of the Resnet101 model by margins of 1.2%, 1.6%, and 1.3% respectively on three standard datasets, MSCOCO, VOC, and NUS-WIDE. Code is available at https://github.com/chuangua/ContrastiveLossMLML.

研究の動機と目的

• 訓練中にラベルが不完全または欠落している状況下でも、頑健なマルチラベルモデルを訓練する課題に対処すること。
• 標準的なコントラスト学習がマルチラベル設定で抱える限界を克服すること。特に、ラベル欠落に起因する誤った負例（false negatives）を解消すること。
• ラベルの不足下でも、埋め込み空間におけるグローバルおよびローカルなラベル依存関係の低ランク構造を保存することで、表現学習を強化すること。
• 1つのハイパーパrameterを用いて、既存のマルチラベル学習フレームワークにスムーズに統合可能な汎用的コントラスト損失を開発すること。

提案手法

• 訓練中に欠落ラベルを推定するラベル補正メカニズムを導入し、コントラスト学習における誤った負例を低減する。
• 各意味的ラベルごとにインスタンスレベルの正例・負例ペアを独立して定義することで、コントラスト信号の正確性を向上させる。
• 真の正例同士を近づけ、真の負例同士を遠ざける埋め込み空間内での一意のコントラスト損失（CLML）を提案する。
• グローバルおよびローカルなラベル構造に低ランク制約を組み込み、ラベル間の意味的関係を保存する。
• 標準的な交差エントロピー損失（BCE）とCLMLを組み合わせ、分類とコントラスト表現学習を同時に最適化する。
• t-SNE可視化とアブレーションスタディを用いて、損失関数内各コンポonentの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ラベルが欠落している状況下で、コントラスト学習をどのように効果的にマルチラベル画像分類に適応できるか。
• RQ2 ラベル不完全性下で、ラベル補正メカニズムがコントラスト学習における誤った負例をどの程度低減できるか。
• RQ3 グローバルおよびローカルなラベル依存関係の低ランク構造を保存することで、ラベル欠落下でも表現学習が向上するか。
• RQ4 標準的な交差エントロピー損失や他のコントラスト損失と比較して、CLMLは標準ベンチマーク上での性能およびロバスト性においてどのように差をつけるか。

主な発見

• CLMLは、それぞれMSCOCO、VOC、NUS-WIDEでResNet101のmAPを1.2%、1.6%、1.3%向上させ、ベースライン手法を上回る。
• アブレーションスタディの結果、CLMLは全評価指標で最高の性能を示し、VOCでは最高のmAP（87.2）とF1スコア（80.3）を達成した。
• t-SNE可視化により、CLMLがクラス内コンパクト性とクラス間分離性を向上させ、特に誤った負例において顕著であることが確認された。
• ラベル補正メカニズムにより、欠落ラベルが正しく検出され、埋め込み空間内での特徴分布がより緩やかに保たれていることが示された。
• 低ランク制約によりクラスタリング品質が顕著に向上し、t-SNEプロットではより固いクラスタと明確な境界が得られた。
• CLMLにより、誤った負例と真の正例クラスタとの距離が短縮され、ラベル欠落の影響を緩和できる能力が裏付けられた。