[논문 리뷰] Towards Understanding Why Mask-Reconstruction Pretraining Helps in Downstream Tasks

Jiachun Pan, Pan Zhou외 1명|arXiv (Cornell University)|2022. 06. 08.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 마스크 복원 미리학습(MRP)의 이론적 분석을 제공하며, MRP가 두 층 또는 한 층으로 구성된 컨volutional auto-encoder를 사용할 경우, 미리학습 데이터의 각 의미 클래스의 모든 분류 특징을 포괄함을 보여준다. 또한, 미세조정된 MRP 모델이 다양한 최종 응용 데이터셋에서 특징을 유지함으로써 지도 학습보다 뛰어난 일반화 성능을 보이며, 단일 및 다중 시각 데이터에 대해 높은 테스트 정확도를 보장하는 이론적 근거를 제시한다.

ABSTRACT

For unsupervised pretraining, mask-reconstruction pretraining (MRP) approaches, e.g. MAE and data2vec, randomly mask input patches and then reconstruct the pixels or semantic features of these masked patches via an auto-encoder. Then for a downstream task, supervised fine-tuning the pretrained encoder remarkably surpasses the conventional ``supervised learning'' (SL) trained from scratch. However, it is still unclear 1) how MRP performs semantic feature learning in the pretraining phase and 2) why it helps in downstream tasks. To solve these problems, we first theoretically show that on an auto-encoder of a two/one-layered convolution encoder/decoder, MRP can capture all discriminative features of each potential semantic class in the pretraining dataset. Then considering the fact that the pretraining dataset is of huge size and high diversity and thus covers most features in downstream dataset, in fine-tuning phase, the pretrained encoder can capture as much features as it can in downstream datasets, and would not lost these features with theoretical guarantees. In contrast, SL only randomly captures some features due to lottery ticket hypothesis. So MRP provably achieves better performance than SL on the classification tasks. Experimental results testify to our data assumptions and also our theoretical implications.

연구 동기 및 목표

• 마스크 복원 미리학습(MRP)이 미리학습 과정에서 의미 특징 학습을 어떻게 수행하는지 이해하기 위해
• MRP가 종단 간 지도 학습보다 최종 응용 과제에서 뛰어난 성능을 내는 이유를 설명하기 위해
• MRP가 미리학습 데이터셋 내 각 의미 클래스의 모든 분류 특징을 이론적으로 포괄함을 입증하기 위해
• 특징 커버리지와 커널 특화 덕분에 MRP가 지도 학습보다 더 나은 일반화 성능을 보임을 보여주기 위해
• 공통된 데이터 분포를 가진 최종 분류 과제에서 높은 테스트 정확도를 보장하는 이론적 보장을 제공하기 위해

제안 방법

• MRP에 대해 두 층 또는 한 층으로 구성된 컨volutional auto-encoder 아키텍처를 대상으로 이론적 분석을 수행한다.
• 분석은 Allen-Zhu & Li (2020)의 다중 시각 데이터 가정에 기반하여 다중 시각 또는 단일 시각 데이터에 대해 분류 특징이 존재한다고 가정한다.
• 각 컨볼루션 커널이 최대 하나의 특징만 포착함을 증명하여 특징 융합을 방지하고 최종 과제에서 명확한 클래스 구분을 가능하게 한다.
• 미리학습 데이터셋이 크고 다양하므로, MRP는 최종 데이터셋의 대부분의 특징을 커버하며, 이로 인해 뛰어난 일반화 성능을 달성한다.
• MRP와 지도 학습 간의 이론적 비교를 통해 공통된 데이터 분포 하에서 MRP가 더 높은 테스트 정확도를 달성함을 보여준다.
• 경사 하강법 업데이트와 커널 다이내믹스를 활용하여, MRP가 미세조정 과정에서도 특징 표현을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 마스크 복원 미리학습(MRP)은 미리학습 과정에서 의미 특징을 어떻게 학습하는가?
• RQ2 왜 MRP는 종단 간 지도 학습보다 최종 분류 과제에서 뛰어난 성능을 내는가?
• RQ3 MRP는 지도 학습보다 더 나은 특징 커버리지와 일반화 성능을 이론적으로 보장할 수 있는가?
• RQ4 MRP의 성공에 있어 커널 특화의 역할은 무엇인가?
• RQ5 MRP는 이론적 보장 하에 미리학습에서부터 미세조정까지 분류 특징을 유지하는가?

주요 결과

• 두 층 또는 한 층으로 구성된 컨볼루션 알고리즘을 사용한 MRP는 미리학습 데이터셋 내 각 의미 클래스의 모든 분류 특징을 포괄한다.
• 인코더 내 각 컨볼루션 커널은 최대 하나의 특징만 포착하므로 특징 융합을 방지하고 최종 과제에서 명확한 클래스 분류를 가능하게 한다.
• 큰 크기와 높은 다양성을 가진 미리학습 데이터셋 덕분에 MRP는 최종 데이터셋의 대부분의 특징을 커버하며 강력한 일반화 성능을 달성한다.
• 미세조정 후 MRP는 단일 시각 및 다중 시각 데이터 모두에서 높은 테스트 정확도를 달성하며, 지도 학습은 단일 시각 데이터에서 정확도의 절반 수준에 머무른다.
• 이론적 분석을 통해 MRP는 미세조정 과정 동안 특징 표현을 유지하며, 새로운 샘플의 올바른 분류를 보장하는 이론적 근거를 제공한다.
• 결과는 미리학습 데이터셋과 최종 데이터셋이 동일한 데이터 분포를 공유한다는 가정 하에 성립한다.