[論文レビュー] Self-Supervised Learning Disentangled Group Representation as Feature

Tan Wang, Zhongqi Yue+3 more|arXiv (Cornell University)|Oct 28, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、反復的にデータを群の要素に対応する部分集合に分割し、対照学習を用いて不変性を強制することにより、視覚的表現を分離する反復的部品ベースの不変リスク最小化（IP-IRM）という自己教師あり学習手法を提案する。本手法は、数字や色といった意味的要因を分離する完全な分離表現を学習することで、複数のベンチマークで最先端の性能を達成し、下流の線形評価および干渉ベースの少サンプル学習において、既存のSSL手法を上回る。

ABSTRACT

A good visual representation is an inference map from observations (images) to features (vectors) that faithfully reflects the hidden modularized generative factors (semantics). In this paper, we formulate the notion of "good" representation from a group-theoretic view using Higgins' definition of disentangled representation, and show that existing Self-Supervised Learning (SSL) only disentangles simple augmentation features such as rotation and colorization, thus unable to modularize the remaining semantics. To break the limitation, we propose an iterative SSL algorithm: Iterative Partition-based Invariant Risk Minimization (IP-IRM), which successfully grounds the abstract semantics and the group acting on them into concrete contrastive learning. At each iteration, IP-IRM first partitions the training samples into two subsets that correspond to an entangled group element. Then, it minimizes a subset-invariant contrastive loss, where the invariance guarantees to disentangle the group element. We prove that IP-IRM converges to a fully disentangled representation and show its effectiveness on various benchmarks. Codes are available at https://github.com/Wangt-CN/IP-IRM.

研究の動機と目的

• 群論を用いて『良い』視覚的表現を形式化し、Higginsの分離表現の定義を適用する。
• 回転や色合い化といった単純な増幅を超えた複雑な意味的要因の分離において、既存のSSL手法の限界を特定する。
• 視覚的表現における複数の独立した意味的要因を体系的に分離する手法を開発する。
• 反復的分割と不変対照学習を用いて完全な分離表現を達成する。
• 標準ベンチマークおよびロバストな少サンプル学習シナリオにおける手法の優位性を検証する。

提案手法

• IP-IRMは、訓練サンプルを、意味空間上で作用する群の要素に対応する2つの部分集合に反復的に分割する。
• 各反復において、群作用における不変性を強制する部分集合不変対照損失を最小化することで、対応する意味的要因を分離する。
• 本手法は群論的原則を活用し、意味的要因ごとに変換不変性と分解可能性を保証する。
• 収束するまで、分割と対照的損失最適化を交互に繰り返し、完全な分離表現に到達する。
• 本手法は不変リスク最小化（IRM）の原則に基づいており、誤った相関関係に対してロバストである。
• フレームワークは深層ニューラルネットワークを用いてエンドツーエンドに実装され、標準的な対照学習目的関数で訓練される。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習手法は、画像における数字や色といった複雑でモジュール化された意味的要因を完全に分離できるか？
• RQ2 なぜ既存のSSL手法は、回転や色合い化といった単純な増幅を超えて意味的要因を分離できないのか？
• RQ3 反復的分割と群不変対照学習は、完全な分離表現を達成できるか？
• RQ4 IP-IRMの分離表現は、教師ありおよび他のSSL手法と比較して、下流の線形評価でどのように評価されるか？
• RQ5 分離表現は、干渉ベースの少サンプル学習において、ロバスト性を向上させるか？

主な発見

• ImageNet-100の線形評価において、IP-IRMは89.38%の精度を達成し、MoCo-v2（88.10%）および他の最先端SSL手法を上回った。
• IFSLベンチマークでは、IP-IRMは75.57%の精度を達成し、最良のベースライン（MoCo-v2で74.38%）を顕著に上回った。
• 少サンプル学習において、IP-IRMはIFSL分類器を用いた場合、MoCo-v2よりも2.22%の性能向上を示した。
• 可視化結果から、IP-IRMは増幅関連および関連のない意味的要因に対応する明確に分離された特徴次元に特徴を分離しており、各次元で高い分類精度を示した。
• アブレーションスタディの結果、反復的分割と群不変対照学習が完全な分離を達成するために不可欠であることが確認された。
• 理論的に証明されたように、IP-IRMは収束時に完全な分離表現に到達し、各意味的要因が特徴空間の別々の部分空間に局在化された形で表現された。