[論文レビュー] Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework

Shu Zhang, Ran Xu+2 more|arXiv (Cornell University)|Apr 27, 2022

Text and Document Classification Technologies被引用数 11

ひとこと要約

本稿では、利用可能なすべてのラベルを活用し、学習された表現におけるクラス階層を保持する階層的マルチラベル対照学習フレームワーク、HiMulConEを提案する。階層を保つ損失関数（HiMulCon および HiConE）を導入することで、分類、検索、クラスタリングといった下流タスクにおける性能が向上し、特に未学習データにおいて、SupCon や self-supervised ベースラインを上回る。DeepFashion および ModelNet40 データセットにおいて、その有効性が示された。

ABSTRACT

Current contrastive learning frameworks focus on leveraging a single supervisory signal to learn representations, which limits the efficacy on unseen data and downstream tasks. In this paper, we present a hierarchical multi-label representation learning framework that can leverage all available labels and preserve the hierarchical relationship between classes. We introduce novel hierarchy preserving losses, which jointly apply a hierarchical penalty to the contrastive loss, and enforce the hierarchy constraint. The loss function is data driven and automatically adapts to arbitrary multi-label structures. Experiments on several datasets show that our relationship-preserving embedding performs well on a variety of tasks and outperform the baseline supervised and self-supervised approaches. Code is available at https://github.com/salesforce/hierarchicalContrastiveLearning.

研究の動機と目的

• 既存の対照学習手法がマルチラベルクラス間の階層的関係を無視するという制限に対処すること。
• 階層的ラベル構造を含む、すべての利用可能な教師信号を完全に活用する表現学習フレームワークの開発。
• 埋め込み空間におけるラベル間の意味的関係を符号化することで、未学習データおよび下流タスクへの一般化性能の向上。
• 階層的ラベルが存在しない場合、標準的な教師ありおよび自己教師あり対照学習に簡約される統合フレームワークの構築。

提案手法

• 階層内のラベル間のレベルごとの距離に基づいてペナルティを課す、新しい階層的マルチラベル対照損失（HiMulCon）を提案。
• 損失の大きさが木構造におけるラベルの近接度を反映するようにすることで、階層違反を防止する階層制約強制損失（HiConE）を導入。
• HiMulCon と HiConE を統合したハイブリッド損失関数、HiMulConE を構築し、ラベル空間における近接性と階層の一貫性の両方を同時に最適化。
• 各ノードがクラスを表し、エッジが親子関係を示す木構造のラベル表現を用いて、マルチラベル依存関係をモデル化。
• 標準的な対照学習の目的関数（陽性ペア間の距離を最小化し、陰性ペア間の距離を最大化）に加え、階層的教師信号を統合。
• 組み合わせ損失を用いてエンコーダーネットワークを学習し、階層的意味を保持する埋め込みを生成。得られた埋め込みは微調整なしで下流タスクに利用可能。

実験結果

リサーチクエスチョン

• RQ1 対照学習フレームワークは、階層的マルチラベル構造を効果的に活用して表現学習を向上させることができるか？
• RQ2 損失関数にラベル階層を組み込むことで、分類や検索といった下流タスクの性能にどのような影響を与えるか？
• RQ3 標準的な教師ありおよび自己教師ありベースラインと比較して、提案手法は未学習データおよび下流タスクにどの程度一般化できるか？
• RQ4 個々の構成要素（HiMulCon および HiConE）は性能にどのように寄与し、それらを組み合わせることによる利点は何か？

主な発見

• HiMulConE は、画像分類タスクにおいて、SupCon や self-supervised ベースラインを上回り、DeepFashion および ModelNet40 の未学習スプリットで高いトップ-1正確度を達成した。
• DeepFashion データセットでは、HiConE が HiMulCon よりも優れた性能を示した。これは階層的レベル間の意味的重複に起因し、未学習スプリットで 66.9% のトップ-1正確度を達成した。
• 未学習データにおける画像検索では、k 値が小さい範囲で優れた性能を示し、関連する画像の検索品質が向上していることが示された。
• クラスタリング結果では、製品 NMI（カテゴリごとの平均 NMI）が顕著に向上し、サブカテゴリレベルでの階層的分離性が保持されていることが確認された。
• モデルは未学習データに対しても良好に一般化する：見慣れたデータでは SupCon と同等の性能を示したが、未学習データでは著しく優れた性能を発揮しており、階層的教師信号による誘導バイアスの向上が示された。
• 階層的ラベルが存在しない場合、フレームワークは標準的な SimCLR や SupCon に簡約されるため、後方互換性および汎用性が確認された。