[논문 리뷰] Self-Supervised Learning Disentangled Group Representation as Feature

Tan Wang, Zhongqi Yue외 3명|arXiv (Cornell University)|2021. 10. 28.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 반복적인 분할을 통해 데이터를 그룹 원소에 해당하는 부분집합으로 나누고, 대조 학습을 통해 불변성을 강제하여 시각적 표현을 분리하는 자기지도 학습 방법인 반복적 분할 기반 불변 위험 최소화(Iterative Partition-based Invariant Risk Minimization, IP-IRM)를 제안한다. 이는 디지트와 색상과 같은 의미적 요인들을 분리하는 완전히 분리된 특징을 학습하여, 다수의 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 후행 선형 평가와 간섭 기반 소수의 학습에서 기존의 SSL 방법들을 능가한다.

ABSTRACT

A good visual representation is an inference map from observations (images) to features (vectors) that faithfully reflects the hidden modularized generative factors (semantics). In this paper, we formulate the notion of "good" representation from a group-theoretic view using Higgins' definition of disentangled representation, and show that existing Self-Supervised Learning (SSL) only disentangles simple augmentation features such as rotation and colorization, thus unable to modularize the remaining semantics. To break the limitation, we propose an iterative SSL algorithm: Iterative Partition-based Invariant Risk Minimization (IP-IRM), which successfully grounds the abstract semantics and the group acting on them into concrete contrastive learning. At each iteration, IP-IRM first partitions the training samples into two subsets that correspond to an entangled group element. Then, it minimizes a subset-invariant contrastive loss, where the invariance guarantees to disentangle the group element. We prove that IP-IRM converges to a fully disentangled representation and show its effectiveness on various benchmarks. Codes are available at https://github.com/Wangt-CN/IP-IRM.

연구 동기 및 목표

• 군 이론과 Higgins의 분리 표현 정의를 사용하여 '좋은' 시각적 표현을 수식화하기.
• 기존의 SSL 방법이 회전 및 색조화와 같은 단순한 증강 기법을 초월해 복잡한 의미를 분리하는 데에 한계를 보이는 이유를 규명하기.
• 시각적 표현 내에서 다수의 독립된 의미적 요인을 체계적으로 분리하는 방법 개발하기.
• 반복적 분할과 불변 대조 학습을 통해 완전히 분리된 표현을 얻기.
• 표준 벤치마크와 강건한 소수의 학습 시나리오에서 방법의 우수성을 검증하기.

제안 방법

• IP-IRM은 훈련 샘플을 의미 공간에서 작용하는 군 원소에 해당하는 두 부분집합으로 반복적으로 분할한다.
• 각 반복 단계에서 군 작용에 대해 불변성을 강제하기 위해 부분집합 기반 불변 대조 손실을 최소화한다. 이를 통해 해당 의미적 요인을 분리한다.
• 학습된 표현의 등변성과 분해 가능성 보장을 위해 군 이론 원리를 활용한다.
• 수렴할 때까지 분할과 대조 목표 함수 최적화를 번갈아 수행하여 완전히 분리된 표현에 도달한다.
• 강건성을 확보하기 위해 불변 위험 최소화(IRM) 원리를 기반으로 한다.
• 딥 네ural 네트워크를 통해 엔드 투 엔드로 구현되며, 표준 대조 학습 목표 함수를 사용해 훈련된다.

실험 결과

연구 질문

• RQ1 자기지도 학습 방법은 이미지 내에서 디지트와 색상과 같은 복잡하고 모odu lar한 의미적 요인들을 완전히 분리할 수 있는가?
• RQ2 기존의 SSL 방법은 왜 회전 및 색조화와 같은 단순한 증강 기법을 초월해 의미를 분리하지 못하는가?
• RQ3 반복적 분할과 군 불변 대조 학습이 완전히 분리된 표현을 이끌 수 있는가?
• RQ4 IP-IRM에서 얻은 분리된 표현은 후행 선형 평가에서 감독 학습 및 다른 SSL 방법과 비교해 어떻게 성능을 내는가?
• RQ5 분리된 표현은 간섭 기반 소수의 학습에서 강건성을 향상시키는가?

주요 결과

• ImageNet-100 선형 평가에서 IP-IRM은 89.38%의 정확도를 달성하여 MoCo-v2(88.10%) 및 기타 최신 기술 수준의 SSL 방법들을 능가한다.
• IFSL 벤치마크에서 IP-IRM은 75.57%의 정확도를 기록하여 최고의 베이스라인인 MoCo-v2(74.38%)를 크게 앞서 간다.
• 소수의 학습에서 뛰어난 강건성을 보이며, IFSL 분류기 사용 시 MoCo-v2 대비 2.22%의 성능 향상을 보였다.
• 시각화 결과 IP-IRM이 증강 관련 및 관련 없는 의미를 각각 별개의 차원으로 분리하는 특징을 학습함을 보여주며, 각 특징에 대해 높은 분류 정확도를 달성한다.
• 제거 실험을 통해 반복적 분할과 군 불변 대조 학습이 완전한 분리에 필수적임을 확인하였다.
• 이론적으로도 IP-IRM이 완전히 분리된 표현으로 수렴하며, 각 의미적 요인이 특징 공간의 별개의 부분공간에 국소화됨을 증명하였다.