[論文レビュー] Hallucination Improves the Performance of Unsupervised Visual Representation Learning

Jing Wu, Jennifer Hobbs+1 more|arXiv (Cornell University)|Jul 22, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、自己教師付き視覚表現学習における対照学習を強化するために、特徴空間内で合成された陽性サンプルを生成する微分可能でプラグアンドプレイなモジュール、Hallucinatorを提案する。非対称な特徴拡張と非線形な幻覚生成を適用することで、特徴の分散を増加させ、モデルの頑健性を向上させ、CIFAR-10/100、Tiny ImageNet、STL-10、ImageNetの複数のベンチマークで線形評価および下流の検出・セグメンテーションタスクにおいて、0.3%から3.0%の一貫した精度向上を達成する。

ABSTRACT

Contrastive learning models based on Siamese structure have demonstrated remarkable performance in self-supervised learning. Such a success of contrastive learning relies on two conditions, a sufficient number of positive pairs and adequate variations between them. If the conditions are not met, these frameworks will lack semantic contrast and be fragile on overfitting. To address these two issues, we propose Hallucinator that could efficiently generate additional positive samples for further contrast. The Hallucinator is differentiable and creates new data in the feature space. Thus, it is optimized directly with the pre-training task and introduces nearly negligible computation. Moreover, we reduce the mutual information of hallucinated pairs and smooth them through non-linear operations. This process helps avoid over-confident contrastive learning models during the training and achieves more transformation-invariant feature embeddings. Remarkably, we empirically prove that the proposed Hallucinator generalizes well to various contrastive learning models, including MoCoV1&V2, SimCLR and SimSiam. Under the linear classification protocol, a stable accuracy gain is achieved, ranging from 0.3% to 3.0% on CIFAR10&100, Tiny ImageNet, STL-10 and ImageNet. The improvement is also observed in transferring pre-train encoders to the downstream tasks, including object detection and segmentation.

研究の動機と目的

• 対照学習の自己教師付き視覚表現学習における限界、特に陽性ペアの多様性不足と低分散による過学習を解決すること。
• 画像レベルのデータオーグメンテーションや生成的幻覚化手法の計算負荷の高さと、性能の劣化を克服すること。
• トレーニング計算量の増加なしにハイパーパrameterチューニングを必要とせず、対照学習を強化する軽量で微分可能なモジュールを開発すること。
• 特徴空間内で意味的に意味のある、変換に頑健な陽性ペアを生成することで、特徴の一般化性と不変性を向上させること。
• MoCoV2、SimCLR、SimSiamなどの複数の最先端の対照学習フレームワークに広く適合可能であり、一貫した性能向上を示すことを実証すること。

提案手法

• Hallucinatorは、シアンジア対照学習フレームワークのエンコーダーの直後に挿入され、特徴空間内で直接追加の陽性サンプルを生成する。
• 相互情報量を低減し、自明な対照信号を避けるために、陽性ペア間の分散を増加させる非対称な特徴拡張を採用する。
• 拡張された特徴に非線形な幻覚化プロセスを適用し、滑らかでタスク関連の高い変換を導入する。このプロセスは微分可能で学習可能である。
• 幻覚化された特徴は、主な対照学習目的と一括して最適化され、追加の推論コストなしに共同学習が可能になる。
• 本手法は陽性サンプルのみに依存するため、任意のシアンジアベースの対照学習モデルにプラグアンドプレイで統合可能である。
• 幻覚化中に意味的整合性を保つために、1つのブランチで中央クロップを適用し、誤検出を防止する。

実験結果

リサーチクエスチョン

• RQ1 特徴空間内で合成された陽性サンプルを生成することで、対照的自己教師付き学習モデルの性能が向上するか？
• RQ2 特徴空間における微分可能で非線形な幻覚化プロセスは、従来のデータオーグメンテーションよりも優れた特徴の不変性と一般化性を実現するか？
• RQ3 非対称手法と対称手法を比較した場合、陽性ペア間の相互情報量を低減する点で、非対称な特徴拡張は優れているか？
• RQ4 提案されたHallucinatorは、MoCoV2、SimCLR、SimSiamのような多様な対照学習フレームワークに効果的に一般化可能か？
• RQ5 幻覚化された表現は、物体検出やインスタンスセグメンテーションなどの下流タスクへの転送性をどの程度向上させるか？

主な発見

• Hallucinatorは、CIFAR-10/100、Tiny ImageNet、STL-10、ImageNetなどの複数のベンチマークで、線形分類プロトコル下で安定した0.3%から3.0%の精度向上を達成する。
• 本手法は下流タスクの転送性能を向上させ、PASCAL VOCにおける物体検出で0.3%から0.8%の向上を示し、COCOの物体検出およびインスタンスセグメンテーションでも一貫した改善が得られた。
• 最適な設定では、幻覚化ヘッドに3層の非線形層を用い、非対称拡張におけるβ₁=0.0およびβ₂=1.0が最良の性能をもたらした。
• 中央クロップの比率p=0.5から0.6を採用することで、意味的コンテンツを保持し、誤検出を低減し、幻覚化の品質が向上した。
• アブレーションスタディにより、非対称拡張と非線形幻覚化の両方が不可欠であることが確認され、いずれかを除去すると性能が低下した。
• MoCoV1/V2、SimCLR、SimSiamなどの複数の対照学習モデルに、モデル固有のチューニングを必要とせず、良好な一般化性能を示した。