[논문 리뷰] Functional Regularization for Representation Learning: A Unified Theoretical Perspective

Siddhant Garg, Yingyu Liang|arXiv (Cornell University)|2020. 08. 06.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 기능적 정규화를 통한 표현 학습을 위한 통합 이론적 프레임워크를 제안한다. 여기서 레이블이 없는 데이터에 대한 비지도 또는 자기지도 보조 과제는 표현의 가설 공간을 단순화시키는 학습 가능한 정규화 요소로 작용한다. 이 프레임워크는 모델의 표현 능력을 제약함으로써 레이블이 있는 데이터의 필요성을 줄임을 보여주며, 실증적 검증을 통해 미리 훈련된 BERT가 레이블이 적은 데이터 조건에서도 무작위 초기화된 BERT보다 우수한 성능을 보임을 확인한다.

ABSTRACT

Unsupervised and self-supervised learning approaches have become a crucial tool to learn representations for downstream prediction tasks. While these approaches are widely used in practice and achieve impressive empirical gains, their theoretical understanding largely lags behind. Towards bridging this gap, we present a unifying perspective where several such approaches can be viewed as imposing a regularization on the representation via a learnable function using unlabeled data. We propose a discriminative theoretical framework for analyzing the sample complexity of these approaches, which generalizes the framework of (Balcan and Blum, 2010) to allow learnable regularization functions. Our sample complexity bounds show that, with carefully chosen hypothesis classes to exploit the structure in the data, these learnable regularization functions can prune the hypothesis space, and help reduce the amount of labeled data needed. We then provide two concrete examples of functional regularization, one using auto-encoders and the other using masked self-supervision, and apply our framework to quantify the reduction in the sample complexity bound of labeled data. We also provide complementary empirical results to support our analysis.

연구 동기 및 목표

• 비지도 및 자기지도 표현 학습 방법의 높은 경험적 성공에도 불구하고 이들의 이론적 이해가 부족한 문제를 해결하기 위해.
• 오토인코더나 마스킹된 자기지도 학습과 같은 다양한 표현 학습 접근법을 기능적 정규화의 공통 이론적 시각으로 통합하기 위해.
• 이 프레임워크 하에서 레이블이 있는 데이터의 샘플 복잡도를 분석하여, 레이블이 없는 데이터가 레이블이 있는 데이터의 필요성을 크게 줄일 수 있는 조건을 규명하기 위해.
• 고정된 정규화 함수가 아니라 학습 가능한 정규화 함수를 允허하는, 이전 연구를 일반화한 분류형 PAC 스타일의 이론적 프레임워크를 제공하기 위해.
• 사전 훈련된 BERT와 합성 및 실세계 데이터에 대한 추상화 연구를 통해 이론적 주장의 실증적 검증을 수행하기 위해.

제안 방법

• 표현 학습에서 레이블이 있는 데이터와 없는 데이터의 샘플 복잡도를 제한하는 분류형 PAC 스타일의 프레임워크를 제안한다.
• 표현 학습을 레이블이 없는 데이터로부터 유도된 학습 가능한 정규화 함수가 표현의 가설 공간을 제약하는 과정으로 모델링한다.
• 정규화 함수를 고정하는 대신 학습 가능한 것으로 일반화함으로써 이전의 준지도 학습 프레임워크를 확장하여 자기지도 방법에 더 넓은 적용 가능성을 제공한다.
• 두 가지 구체적인 예제인 오토인코더와 마스킹된 자기지도 학습(예: BERT 스타일의 사전 훈련)에 프레임워크를 적용하고, 명시적인 샘플 복잡도 한계를 유도한다.
• 가설 클래스 단순화의 논증을 통해 기능적 정규화가 효과적인 모델 용량을 줄여 일반화에 필요한 레이블이 있는 데이터의 수를 감소시킴을 보여준다.
• 합성 및 실세계 데이터에 대한 실증 평가를 수행하며, 표현에 대한 노름 제약을 추가하거나 추가하지 않은 채 무작위 초기화된 BERT와의 미세조정을 비교한다.

실험 결과

연구 질문

• RQ1 표현 학습에서 레이블이 없는 데이터가 레이블이 있는 데이터의 샘플 복잡도를 어떤 조건에서 줄일 수 있는가?
• RQ2 레이블이 없는 데이터로부터 유도된 학습 가능한 정규화 함수는 표현의 가설 공간을 어떻게 제약하는가?
• RQ3 마스킹 예측이나 재구성과 같은 자기지도 과제에서 유도된 기능적 정규화가 레이블이 있는 데이터의 필요성을 얼마나 줄일 수 있는가?
• RQ4 대규모 레이블이 없는 데이터(예: BERT)에서 사전 훈련한 것과 고정된 노름 제약을 가진 무작위 초기화된 것 간에 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ5 다양한 자기지도 표현 학습 방법을 기능적 정규화의 공통 원리 아래 통합할 수 있는 이론적 프레임워크가 가능한가?

주요 결과

• 모든 레이블이 있는 데이터 크기에서 사전 훈련된 BERT가 무작위 초기화된 BERT보다 유의미하게 높은 성능을 보이며, 대규모 레이블이 없는 사전 훈련에서 기능적 정규화의 이점을 입증한다.
• MRPC 데이터셋에서, 사전 훈련된 BERT는 3,668개의 학습 샘플에서 80.3%의 정확도와 85.7%의 F1 스코어를 기록했으며, L1 또는 L2 제약을 추가한 무작위 초기화 모델조차도 이를 뛰어넘었다.
• 레이블이 있는 데이터가 적을 경우 사전 훈련된 BERT의 성능 향상은 미미한 편이었으며, 이는 사전 훈련된 모델이 이미 기능적 정규화를 통해 가설 공간의 대부분을 단순화시켰음을 시사한다.
• L1 또는 L2 제약을 추가한 무작위 초기화 모델은 무작위 초기화 상태에서의 성능 향상이 제한적이었으며, 이는 고정된 노름 제약보다 사전 훈련에서 유도된 구조적 인덕티브 바이어스가 훨씬 효과적임을 시사한다.
• BERT 가중치를 동결하고 분류기만 미세조정할 경우, 작은 데이터셋에서는 수렴이 불량했으며, 이는 표현 공간을 탐색해야 하며, 레이블이 없는 데이터로부터의 기능적 정규화가 효율적 학습을 위해 필수적임을 확인한다.
• 이론적 프레임워크는 기능적 정규화가 효과적인 가설 클래스 크기를 줄여 레이블이 있는 샘플 복잡도를 낮춘다는 것을 보여주며, 사전 훈련된 모델과 무작위 초기화된 모델 간의 성능 격차를 통해 이를 실증적으로 검증한다.