[論文レビュー] Interventional Contrastive Learning with Meta Semantic Regularizer

Wenwen Qiang, Jiangmeng Li+3 more|arXiv (Cornell University)|Jun 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本論文は、画像の背景を交絡要因として扱い、メタ意味的正則化子を用いて背後調整を施すことで背景の干渉を低減する、因果的表現学習手法である Interventional Contrastive Learning with Meta Semantic Regularizer (ICL-MSR) を提案する。この手法は、複数の対照的学習フレームワークおよびベンチマークで性能を向上させ、よりタイトな一般化境界を達成し、半教師あり学習で最先端の結果を達成する。

ABSTRACT

Contrastive learning (CL)-based self-supervised learning models learn visual representations in a pairwise manner. Although the prevailing CL model has achieved great progress, in this paper, we uncover an ever-overlooked phenomenon: When the CL model is trained with full images, the performance tested in full images is better than that in foreground areas; when the CL model is trained with foreground areas, the performance tested in full images is worse than that in foreground areas. This observation reveals that backgrounds in images may interfere with the model learning semantic information and their influence has not been fully eliminated. To tackle this issue, we build a Structural Causal Model (SCM) to model the background as a confounder. We propose a backdoor adjustment-based regularization method, namely Interventional Contrastive Learning with Meta Semantic Regularizer (ICL-MSR), to perform causal intervention towards the proposed SCM. ICL-MSR can be incorporated into any existing CL methods to alleviate background distractions from representation learning. Theoretically, we prove that ICL-MSR achieves a tighter error bound. Empirically, our experiments on multiple benchmark datasets demonstrate that ICL-MSR is able to improve the performances of different state-of-the-art CL methods.

研究の動機と目的

• 背景特徴が対照的学習の性能に与える悪影響を特定・是正すること。
• 全画像とフォアグラウンド画像でトレーニング・テストした際に CL モデルで観察される矛盾した挙動を説明すること。
• 背景を表現学習に影響を与える交絡要因としてモデル化する因果フレームワークを構築すること。
• 既存の CL フレームワークに統合可能な、背後調整に基づく正則化手法を設計すること。
• 理論的および実験的に、よりタイトな誤差境界と優れた下流性能を通じて、一般化とロバスト性の向上を示すこと。

提案手法

• 著者らは、背景を対照的学習におけるアンカーとポジティブサンプルに影響を与える交絡要因としてモデル化した構造的因果モデル (SCM) を構築する。
• 交絡要因としての背景特徴の影響を補正するため、メタ意味的正則化子 (MSR) を提案する。
• MSR は、特徴空間を正則化し、背景の文脈に依存しないフォアグラウンドにロバストな表現を学習するよう促進する。
• この手法はプラグアンドプレイであり、SimCLR や BYOL などの任意の対照的学習フレームワークと互換性を持つ。
• 理論的分析により、ICL-MSR は標準的な対照的学習よりもタイトな一般化誤差境界を達成することが示された。
• 一様性制約を課した学習可能な重み行列と、正則化損失のバランスをとるハイパーパrameter λ を用いる。

実験結果

リサーチクエスチョン

• RQ1 なぜ対照的学習モデルは、全画像でトレーニングされたにもかかわらずフォアグラウンド領域で性能が悪化するのか？
• RQ2 なぜフォアグラウンド領域でトレーニングするとフォアグラウンドでは性能が良くなるが、全画像では悪化するのか？
• RQ3 背景特徴を対照的表現学習における正式な交絡要因としてモデル化できるか？
• RQ4 背後調整に基づく因果的介入により、背景の干渉に対するロバスト性がどのように向上するか？
• RQ5 提案された正則化手法を統合することで、よりタイトな一般化境界と優れた下流性能が達成されるか？

主な発見

• ICL-MSR は、半教師あり ImageNet 分類で最先端の性能を達成し、1% および 10% のラベル付きデータで SimCLR や BYOL を上回った。
• 1% の ImageNet スプリットでは、ICL-MSR (BYOL + MSR) がトップ-1 精度 70.5% を達成し、BYOL の 68.8% を上回った。
• 10% の ImageNet スプリットでは、ICL-MSR (BYOL + MSR) がトップ-5 精度 90.7% を達成し、BYOL の 89.0% を上回った。
• フォアグラウンドでトレーニングした場合に全画像での性能が向上し、ベースラインモデルで観察された矛盾を解消した。
• ハイパーパramータのアブレーションにより、λ=1 および γ=1 が最適な性能をもたらし、正則化と対照的損失のバランスが適切であることが示された。
• 高解像度データセットでは特に顕著な向上が見られ、CIFAR-10 などの低解像度データセットでは 1% 未満の向上にとどまるため、小規模画像では背景の干渉が少ないことが示唆された。