[논문 리뷰] Putting An End to End-to-End: Gradient-Isolated Learning of Representations

Sindy Löwe, Peter O’Connor외 1명|arXiv (Cornell University)|2019. 05. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 49

한 줄 요약

그리디 InfoMax(GIM)를 도입합니다. 이는 자기지도 학습, 그래디언트 고립화, 계층별 학습 방법으로 모듈별 상호정보를 최적화하며 엔드-투-엔드 역전파 없이도 오디오와 비전 작업에서 경쟁력 있는 표현을 얻고 비동기식, 메모리 효율적인 학습을 가능하게 합니다.

ABSTRACT

We propose a novel deep learning method for local self-supervised representation learning that does not require labels nor end-to-end backpropagation but exploits the natural order in data instead. Inspired by the observation that biological neural networks appear to learn without backpropagating a global error signal, we split a deep neural network into a stack of gradient-isolated modules. Each module is trained to maximally preserve the information of its inputs using the InfoNCE bound from Oord et al. [2018]. Despite this greedy training, we demonstrate that each module improves upon the output of its predecessor, and that the representations created by the top module yield highly competitive results on downstream classification tasks in the audio and visual domain. The proposal enables optimizing modules asynchronously, allowing large-scale distributed training of very deep neural networks on unlabelled datasets.

연구 동기 및 목표

• 레이블 없이 또는 글로벌 엔드-투-엔드 역전파 없이 표현을 학습하는 동기를 제시합니다.
• 정보 보존 원칙에서 영감을 받은 그리디하고 모듈-단위의 학습 체계를 개발합니다.
• 로컬로 학습된 모듈들이 집합적으로 강력한 다운스트림 성능을 낼 수 있음을 보여줍니다.
• 매우 깊은 네트워크에 대해 메모리 효율성과 비동기 학습의 실용적 이점을 제시합니다.

제안 방법

• 깊은 네트워크를 gradient-blocking 연산자를 사용해 모듈 간 역전파를 차단하는 gradient-isolated 모듈로 분할합니다.
• 각 모듈을 로컬 InfoNCE 손실로 학습시켜 입력과 출력 간 정보 보존을 극대화합니다.
• Eq. (3)–(4)와 함께 모듈-로컬 대비 손실 f_k^m(z_{t+k}^m,z_t^m)로 상호 정보량을 최대화합니다.
• 원하면 autoregressive 컨텍스트 모듈 g_ar를 추가해 더 넓은 시간적/공간적 맥락을 집계합니다( Eq. (6)).
• 모듈 학습 후 로컬 스코어링 함수를 제거하고 축적된 인코더를 다운스트림 특징에 사용합니다; 필요시 별도의 컨텍스트 모듈을 학습시킵니다.
• 모듈별 간 정보 최대화가 반복될수록 층 간 비퇴화되지 않고 정보가 풍부한 표현으로 이어진다고 주장합니다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 역전파 없이 계층별 그리디(gradient-isolated) 방식으로 상호 정보 최대화를 효과적으로 최적화할 수 있는가?
• RQ2 그리디하게 학습된 모듈들이 비전과 오디오에서 다운스트림 표현을 점진적으로 개선하는가?
• RQ3 gradient-isolated 학습의 메모리 및 학습 효율성 트레이드오프는 엔드-투-엔드 방법과 어떻게 비교되는가?
• RQ4 autoregressive 컨텍스트 모듈의 추가가 더 넓은 맥락이 필요한 작업 성능에 미치는 영향은 무엇인가?

주요 결과

Method	Phone Classification Accuracy (%)	Speaker Classification Accuracy (%)
Randomly initialized	27.6	1.9
MFCC features	39.7	17.6
Supervised	77.7	98.9
Greedy Supervised	73.4	98.7
CPC [Oord et al., 2018]	64.9	99.6
Greedy InfoMax (GIM)	62.5	99.4
GIM without BPTT	55.5	-
GIM without g_ar	50.8	-

• GIM은 엔드-투-엔드 역전파 없이도 STL-10 이미지 분류에서 경쟁력 있는 다운스트림 성능을 달성합니다(81.9% ±0.3 with GIM vs 80.5% ±3.1 for CPC).
• GIM은 일부 자기지도 기준선뿐 아니라 제한된 라벨링 하의 비교적 지도 학습 방법보다도 우수한 성능을 보여 표현의 품질이 강하다는 것을 보여줍니다.
• 아블레이션은 autoregressive 모듈이 시간적/맥락 의존성이 있는 작업에 이익이 있음을 보여주며, BPTT나 ar 모듈을 제거하면 그러한 작업에서 성능 저하가 발생할 수 있습니다.
• 그리디하고 계층별 InfoNCE 학습은 중간 표현을 향상시키며, 각 모듈이 다운스트림 화자 분류 작업에서 자신의 선행 모듈보다 우수합니다.
• GIM은 메모리 효율적이고 비동기 학습을 가능하게 하며, 세 개의 모듈 학습은 엔드-투-엔드 학습 대비 GPU 메모리 사용을 2.8배로 줄일 수 있습니다.
• LibriSpeech에서 GIM은 화자 분류 정확도 99.4% 및 음소 분류 정확도 62.5%를 달성하며, BPTT 또는 autoregressive 구성요소를 제거하면 감소가 나타난다는 아블레이션이 있습니다.