[논문 리뷰] MetaMask: Revisiting Dimensional Confounder for Self-Supervised Learning

Jiangmeng Li, Wenwen Qiang외 5명|arXiv (Cornell University)|2022. 09. 16.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

MetaMask는 자기지도 대비 학습에서 차원적 부재와 혼란 인자 문제를 해결하기 위해 메타학습 기반의 차원 마스크 방법을 제안한다. 메타학습을 통해 작업에 민감한 마스크를 학습하여 혼란 요인의 영향을 억제함으로써, CIFAR-10과 ImageNet에서 최고 성능을 달성하며 일반화 경계는 더욱 좁아지고 임의의 해법에 대한 강건성도 향상된다.

ABSTRACT

As a successful approach to self-supervised learning, contrastive learning aims to learn invariant information shared among distortions of the input sample. While contrastive learning has yielded continuous advancements in sampling strategy and architecture design, it still remains two persistent defects: the interference of task-irrelevant information and sample inefficiency, which are related to the recurring existence of trivial constant solutions. From the perspective of dimensional analysis, we find out that the dimensional redundancy and dimensional confounder are the intrinsic issues behind the phenomena, and provide experimental evidence to support our viewpoint. We further propose a simple yet effective approach MetaMask, short for the dimensional Mask learned by Meta-learning, to learn representations against dimensional redundancy and confounder. MetaMask adopts the redundancy-reduction technique to tackle the dimensional redundancy issue and innovatively introduces a dimensional mask to reduce the gradient effects of specific dimensions containing the confounder, which is trained by employing a meta-learning paradigm with the objective of improving the performance of masked representations on a typical self-supervised task. We provide solid theoretical analyses to prove MetaMask can obtain tighter risk bounds for downstream classification compared to typical contrastive methods. Empirically, our method achieves state-of-the-art performance on various benchmarks.

연구 동기 및 목표

• 대비 자기지도 학습의 지속적인 결함인 관련 없는 정보 간섭과 샘플 효율성 부족 문제를 해결하기 위해.
• 차원적 부재와 차원적 혼란 요인을 임의의 해법과 성능 저하의 근본 원인으로 규명하기 위해.
• 표현 학습 중 해로운 차원을 억제하기 위해 동적이고 작업에 민감한 마스크를 학습하는 방법을 개발하기 위해.
• 표준 대비 학습 방법에 비해 MetaMask가 하류 분류 작업에서 더 좁은 위험 경계를 달성하는 이론적 근거를 제시하기 위해.
• CIFAR-10과 ImageNet을 포함한 다양한 벤치마크에서 MetaMask의 우수성을 경험적으로 검증하기 위해.

제안 방법

• MetaMask는 메타학습을 통해 학습된 차원 마스크를 도입하여 특정 특징 차원에서의 기울기 업데이트를 선택적으로 억제한다.
• 마스크는 하류 자기지도 학습 작업에서 마스크된 표현의 성능을 최적화하는 메타학습 목표를 사용해 훈련된다.
• 교차상관관계 최소화를 통한 부재 감소와 타겟팅된 마스크를 조합하여 정보성 특징과 혼란 요인을 분리한다.
• 기울기 역전파 동안 마스크를 적용하여 혼란 요인, 혼란스러운, 또는 배경 정보를 포함한 차원의 기울기 영향을 줄인다.
• 표준 대비 학습 프레임워크와 호환되며, 기존 아키텍처와 데이터 증강 전략과의 통합이 가능하다.
• 이론적 분석을 통해 MetaMask가 표준 대비 학습보다 더 좁은 일반화 위험 경계를 달성함을 확인했다.

실험 결과

연구 질문

• RQ1 차원적 부재와 혼란 요인이 대비 자기지도 학습에서 임의의 해법과 낮은 샘플 효율성의 핵심 원인으로 식별될 수 있는가?
• RQ2 수동 설계 없이도 혼란 요인 특징 차원에서의 기울기 흐름을 억제할 수 있는 동적이고 학습 가능한 마스크를 어떻게 설계할 수 있는가?
• RQ3 고정 또는 무작위 마스크에 비해 마스크를 메타학습함으로써 하류 성능 향상과 더 좁은 일반화 경계 달성 여부는?
• RQ4 기본 대비 학습 방법에 비해 MetaMask는 데이터 증강과 배경 아티팩트에 대해 얼마나 더 강건한가?
• RQ5 CIFAR-10과 ImageNet과 같은 표준 벤치마크에서 MetaMask는 이론적 보장을 유지하면서도 최고 성능을 달성할 수 있는가?

주요 결과

• MetaMask는 CIFAR-10과 ImageNet에서 기존 대비 학습 방법을 능가하는 최고 성능을 달성한다.
• 데이터 증강과 배경 아티팩트에 대해 더 강건하며, 임의의 또는 혼란 요인 특징의 간섭을 줄인다.
• 경험적 결과는 프로젝션 헤드 차원을 늘릴수록 MetaMask 하에서 성능 향상이 이루어짐을 보여주며, 마스크 메커니즘의 효과성을 뒷받침한다.
• 이론적 분석을 통해 MetaMask가 표준 대비 학습보다 하류 분류 작업에서 더 좁은 위험 경계를 제공함을 확인했다.
• 시각화 결과는 MetaMask가 상호 차원 유사도를 줄이고 더 분리된, 클래스에 민감한 표현을 학습함을 확인했다.