[논문 리뷰] Greedy InfoMax for Biologically Plausible Self-Supervised Representation Learning.

Sindy Löwe, Peter O’Connor외 1명|arXiv (Cornell University)|2019. 05. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 5

한 줄 요약

이 논문은 백프로파게이션 없이 깊은 신경망 모듈을 탐욕적이고 기울기 격리된 방식으로 훈련하는 생물학적으로 타당한 자기지도 학습 방법인 Greedy InfoMax을 제안한다. 입력과 출력 표현 간 상호정보량을 InfoNCE 손실을 사용해 최대화함으로써, 음성 및 시각 작업에서 강력한 최종 성능을 달성하면서도 매우 깊은 네트워크의 비동기적이고 분산된 훈련을 가능하게 한다.

ABSTRACT

We propose a novel deep learning method for local self-supervised representation learning that does not require labels nor end-to-end backpropagation but exploits the natural order in data instead. Inspired by the observation that biological neural networks appear to learn without backpropagating a global error signal, we split a deep neural network into a stack of gradient-isolated modules. Each module is trained to maximally preserve the information of its inputs using the InfoNCE bound from Oord et al. [2018]. Despite this greedy training, we demonstrate that each module improves upon the output of its predecessor, and that the representations created by the top module yield highly competitive results on downstream classification tasks in the audio and visual domain. The proposal enables optimizing modules asynchronously, allowing large-scale distributed training of very deep neural networks on unlabelled datasets.

연구 동기 및 목표

• 엔드 투 엔드 백프로파게이션을 피하는 자기지도 표현 학습 방법을 개발하여 신경계산에서 생물학적 타당성과 일치시킨다.
• 전역 오차 신호가 없는 상황에서 깊은 네트워크를 훈련하는 문제를 해결하며, 생물학적 신경망이 학습할 수 있는 방식에 영감을 얻는다.
• 모듈 간 기울기 격리를 통해 매우 깊은 네트워크의 스케일러블하고 분산된 훈련을 가능하게 한다.
• 로컬이고 모듈 기반 최적화를 사용하여 레이블이 없는 데이터에서 높은 최종 분류 성능를 달성한다.

제안 방법

• 네트워크는 기울기 격리된 모듈의 스택으로 구성되며, 각 모듈은 입력으로부터의 정보를 유지하도록 독립적으로 훈련된다.
• 각 모듈은 입력과 출력 표현 간 상호정보량의 InfoNCE 하한을 최대화한다.
• 훈련은 탐욕적으로 수행되며, 각 모듈은 이전 모듈의 출력에 기반하여 최적화되며, 이전 레이어를 통해 기울기를 역전파하지 않는다.
• 이 방법은 데이터의 자연스러운 순서를 활용하여 각 모듈 내에서 대비 학습을 위한 양성 및 음성 쌍을 정의한다.
• 모듈들은 비동기적으로 훈련되며, 레이블이 없는 데이터셋에서 대규모 분산 훈련을 지원한다.
• 최상위 모듈의 표현은 최종 분류를 위해 사용되며, 추가 미세조정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 백프로파게이션 없이도 자기지도 표현 학습을 달성할 수 있을까, 동시에 높은 성능를 유지할 수 있을까?
• RQ2 스택된 모듈의 탐욕적이고 국소적인 훈련이 백프로파게이션 모델과 경쟁 가능한 표현을 도출할 수 있을까?
• RQ3 모듈 간 기울기 격리가 깊은 네트워크의 스케일러블하고 분산된 훈련을 가능하게 할 수 있을까?
• RQ4 데이터의 자연스러운 순서를 깊은 아키텍처 내에서 국소적 대비 학습에 효과적으로 활용할 수 있을까?
• RQ5 탐욕적이고 생물학적으로 영감을 얻은 모듈에서 유도된 표현이 최종 분류 작업으로 일반화되는 정도는 어떨까?

주요 결과

• Greedy InfoMax는 레이블이나 백프로파게이션 없이도 음성 및 시각 벤치마크에서 경쟁적인 최종 분류 정확도를 달성한다.
• 각 모듈은 이전 모듈의 표현을 향상시키며, 스택을 따라 점진적인 특징 학습이 이루어짐을 보여준다.
• 모듈 간 기울기 격리를 통해 매우 깊은 네트워크의 비동기적이고 분산된 훈련이 가능해진다.
• 최상위 모듈의 표현은 최종 작업에서 뛰어난 성능를 보이며, 효과적인 계층적 특징 학습을 나타낸다.
• 이 방법은 생물학적으로 타당하며, 전역 오차 역전파를 피하고 대신 국소적이고 정보량 최대화 업데이트를 사용한다.
• 모델은 레이블이 없는 데이터에서 잘 작동하며, 국소적 훈련을 통한 상호정보량 최대화가 강력한 표현을 도출할 수 있음을 보여준다.