[논문 리뷰] Can Pretext-Based Self-Supervised Learning Be Boosted by Downstream Data? A Theoretical Analysis

Jiaye Teng, Weiran Huang외 1명|arXiv (Cornell University)|2021. 03. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 4

한 줄 요약

이 논문은 조건부 독립성($f(\mathbf{x}) \perp \mathbf{z} \mid \mathbf{y}$)을 만족하도록 입력 데이터를 개선함으로써 후행 데이터가 사전 학습 기반 자기 지율 학습을 향상시킬 수 있는지 조사한다. 이 조건은 후행 샘플 복잡도를 최소화한다. 이 논문은 후행 데이터가 부족할 경우 데이터 프로세서 $f$를 훈련하는 것이 성능을 악화시킬 수 있음을 증명하며, 성능 저하를 방지하기 위한 모델에 종속되지 않은 하한과 모델에 종속된 하한을 모두 도출한다. 이는 자료 부족 상황에서 표준 자기 지율 학습이 최적임을 검증한다.

ABSTRACT

Pretext-based self-supervised learning learns the semantic representation via a handcrafted pretext task over unlabeled data and then uses the learned representation for downstream tasks, which effectively reduces the sample complexity of downstream tasks under Conditional Independence (CI) condition. However, the downstream sample complexity gets much worse if the CI condition does not hold. One interesting question is whether we can make the CI condition hold by using downstream data to refine the unlabeled data to boost self-supervised learning. At first glance, one might think that seeing downstream data in advance would always boost the downstream performance. However, we show that it is not intuitively true and point out that in some cases, it hurts the final performance instead. In particular, we prove both model-free and model-dependent lower bounds of the number of downstream samples used for data refinement. Moreover, we conduct various experiments on both synthetic and real-world datasets to verify our theoretical results.

연구 동기 및 목표

• 다양한 후행 레이블 조건 하에서 개선된 입력과 사전 학습 레이블 간의 조건부 독립성을 강제함으로써 후행 데이터가 사전 학습 기반 자기 지율 학습을 향상시킬 수 있는지 조사한다.
• 후행 데이터를 활용한 데이터 개선이 성능을 저하시키는 조건을 규명하며, 더 많은 데이터가 항상 도움이 된다는 직관을 도전한다.
• 성공적인 표현 개선과 향상된 샘플 복잡도를 달성하기 위해 필요한 후행 샘플 수의 이론적 하한을 유도한다.
• CIFAR-10을 포함한 합성 및 실세계 데이터셋에서의 실험을 통해 이론적 발견을 검증한다.

제안 방법

• 입력 $\mathbf{x}$ 를 변환하여 조건부 독립성 $f(\mathbf{x}) \perp \mathbf{z} \mid \mathbf{y}$ 를 향상시키는 학습 가능한 데이터 프로세서 $f$ 를 제안한다. 여기서 $\mathbf{z}$ 는 사전 학습 레이블이고 $\mathbf{y}$ 는 후행 레이블이다.
• 결과로 얻어진 표현이 조건부 독립성과 동시에 후행 레이블 $\mathbf{y}$ 를 예측할 수 있는 능력을 만족하도록 하는 새로운 손실 함수를 도입한다.
• 표현 학습 중 성능 저하를 방지하기 위해 필요한 후행 샘플 수에 대한 모델에 종속되지 않은 하한을 유도한다.
• 모델 용량이 증가할수록 증가하는 모델에 종속된 하한을 확립하여, 더 복잡한 모델은 효과적인 개선을 위해 비례적으로 더 많은 후행 데이터가 필요하다는 것을 보여준다.
• 합성 데이터와 실세계 데이터셋(예: CIFAR-10)을 사용하여 이론적 주장의 타당성을 실험적으로 검증한다. 여기서 $\lambda$, 모델 크기, 후행 샘플 크기를 다양하게 조정한다.

실험 결과

연구 질문

• RQ1 학습 가능한 함수 $f$ 를 통해 후행 데이터를 활용해 레이블이 없는 데이터를 개선하는 것이 사전 학습 기반 자기 지율 학습의 샘플 복잡도를 향상시킬 수 있는가?
• RQ2 후행 데이터를 활용한 데이터 개선이 자기 지율 표현 학습에서 실패하거나 성능을 떨어뜨리는 조건은 무엇인가?
• RQ3 표현을 성공적으로 개선하고 성능 향상을 달성하기 위해 필요한 최소 후행 샘플 수는 얼마인가?
• RQ4 모델 용량은 효과적인 데이터 개선을 위해 필요한 후행 샘플 수에 어떤 영향을 미치는가?

주요 결과

• 후행 데이터가 부족할 경우 데이터 프로세서 $f$ 를 훈련하는 것은 성능을 명백히 악화시킨다. 이는 더 많은 데이터가 항상 도움이 된다는 직관과 정면으로 배치된다.
• 모델에 종속되지 않은 후행 샘플 수의 하한을 도출하여, 제한된 데이터로는 표현 학습을 향상시킬 수 없으며 오히려 손상을 줄 수 있음을 보여준다.
• 모델에 종속된 하한을 확립하여, 더 높은 모델 용량은 비례적으로 더 많은 후행 샘플이 필요함을 시사한다.
• CIFAR-10에서의 실험 결과, 제안된 손실 함수의 $\lambda$ 를 증가시키면 성능이 떨어지며, 이는 정리 1을 검증한다.
• 프로세서 훈련에 사용된 후행 샘플 수가 적을수록 성능이 저하되며, 이는 표 2의 이론적 하한을 확인한다.
• 충분한 후행 데이터 없이 모델 용량을 두 배로 늘리면 성능이 크게 악화되며, 이는 정리 4를 검증한다.