[논문 리뷰] Activation Learning by Local Competitions

Hongchao Zhou|arXiv (Cornell University)|2022. 09. 26.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 신경망 수준의 경쟁 기반으로, 백프로파게이션을 필요로 하지 않는 비지도 사전 훈련이 가능한 생물학적으로 타당한 국소적 학습 규칙인 활성화 학습을 제안한다. 이 방법은 MNIST 및 CIFAR-10에서 백프로파게이션과 유사한 성능을 달성하며, 데이터가 제한된 경우 이를 뛰어넘고, 분류, 생성, 이상 탐지 작업을 통합적으로 수행하면서 적대적 공격에 대한 강건성까지 향상시킨다.

ABSTRACT

Despite its great success, backpropagation has certain limitations that necessitate the investigation of new learning methods. In this study, we present a biologically plausible local learning rule that improves upon Hebb's well-known proposal and discovers unsupervised features by local competitions among neurons. This simple learning rule enables the creation of a forward learning paradigm called activation learning, in which the output activation (sum of the squared output) of the neural network estimates the likelihood of the input patterns, or "learn more, activate more" in simpler terms. For classification on a few small classical datasets, activation learning performs comparably to backpropagation using a fully connected network, and outperforms backpropagation when there are fewer training samples or unpredictable disturbances. Additionally, the same trained network can be used for a variety of tasks, including image generation and completion. Activation learning also achieves state-of-the-art performance on several real-world datasets for anomaly detection. This new learning paradigm, which has the potential to unify supervised, unsupervised, and semi-supervised learning and is reasonably more resistant to adversarial attacks, deserves in-depth investigation.

연구 동기 및 목표

• 백프로파게이션의 전역 오차 신호를 피하는 생물학적으로 타당한 국소적 학습 규칙을 개발하기 위해.
• 단일 전방 학습 프레임워크 내에서 지도, 비지도, 준지도 학습을 통합하기 위해.
• 저데이터 환경과 적대적 공격에 대한 강건성을 향상시키기 위해.
• 동일한 네트워크로 다양한 후행 작업을 지원하는 일반적이고 작업에 종속되지 않는 특징 학습을 가능하게 하기 위해.

제안 방법

• 국소적 경쟁 학습 규칙은 뉴런 활성도의 차이를 기반으로 가중치를 갱신한다: Δw_ij = η y_j (x_i - Σ_k y_k w_ik), 여기서 y_j는 가중 입력 합이며, 합계 항은 국소적 경쟁을 가능하게 한다.
• 이 규칙은 비직교 주성분으로 특징 분해를 촉진하여 입력 재구성과 강건성 향상을 가능하게 한다.
• 크기 유지 활성화 함수는 출력 활성도가 입력 가능성 추정값을 나타내도록 하여 '더 많이 학습하면 더 많이 활성화'하는 행동을 가능하게 한다.
• 동일한 네트워크는 분류(출력 활성도 최대화)와 생성(무작위성 주입)에 사용되어 작업 유연성을 입증한다.
• 이 방법은 레이블이 없는 데이터에 대한 사전 훈련을 지원하며, 이후 백프로파게이션을 통한 미세조정을 통해 소규모 레이블 데이터셋에서의 성능 향상을 달성한다.
• 정확도 정보의 피드백은 전반적 학습률을 조절하고, 학습 해제를 위한 부정적 샘플을 제공하여 분류 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 순수하게 국소적이고 생물학적으로 타당한 학습 규칙이 딥 네트워크에서 백프로파게이션과 유사한 성능을 달성할 수 있는가?
• RQ2 이러한 규칙이 지도, 비지도, 준지도 학습을 통합할 수 있는 프레임워크를 가능하게 할 수 있는가?
• RQ3 백프로파게이션의 부재가 적대적 공격과 데이터 부족에 대한 강건성을 향상시키는가?
• RQ4 동일한 훈련된 네트워크가 분류, 이미지 생성, 완성 등 다양한 작업을 수행할 수 있는가?
• RQ5 국소적 경쟁에서 유도된 비지도 특징이 미세조정 시 소규모 레이블 데이터셋에서 성능 향상에 기여하는가?

주요 결과

• 600개의 레이블된 샘플이 있는 MNIST에서 활성화 학습은 테스트 오차율 9.74%를 달성하여 백프로파게이션을 뛰어넘었다.
• 60,000개의 레이블된 이미지를 사용할 경우, 활성화 학습은 데이터 증강이나 정규화 기법 없이도 MNIST 및 CIFAR-10에서 백프로파게이션과 동일한 성능을 달성했다.
• 경쟁 규칙에서 유도된 첫 번째 레이어의 비지도 특징을 사용하면, 원본 입력에서의 MNIST 테스트 오차율 7.23%가 2.56%로 감소했다.
• 국소적 경쟁 기반의 사전 훈련 모델은 일반화 능력을 향상시켰으며, 특히 레이블 데이터가 부족한 경우에선 종단 간 백프로파게이션보다 뛰어난 성능을 보였다.
• 사전 훈련된 모델을 미세조정하면 모든 설정에서 최고의 성능를 달성하여, 비지도 특징이 후행 작업에 실용적임을 확인했다.
• 실세계 이상 탐지 데이터셋에서 최신 기술 수준의 성능를 달성하여, 이 방법의 강건성과 일반화 능력을 입증했다.