[논문 리뷰] SymBa: Symmetric Backpropagation-Free Contrastive Learning with Forward-Forward Algorithm for Optimizing Convergence

Heung-Chang Lee, Jeonggeun Song|arXiv (Cornell University)|2023. 03. 15.

Machine Learning and ELM인용 수 7

한 줄 요약

SymBa는 생물학적으로 타당한, 역전파를 포함하지 않는 대비 학습 알고리즘을 제안하며, 양면적인 손실 기울기 균형 조정과 내재된 클래스 패턴(ICP)을 도입하여 수렴성과 성능을 향상시킨다. 이는 MNIST, CIFAR-10, CIFAR-100에서 표준 전방-전방(Forward-Forward) 및 역전파보다 뛰어난 성능을 기록하며, 역전파 없이도 최신 기술 수준에 도달한다.

ABSTRACT

The paper proposes a new algorithm called SymBa that aims to achieve more biologically plausible learning than Back-Propagation (BP). The algorithm is based on the Forward-Forward (FF) algorithm, which is a BP-free method for training neural networks. SymBa improves the FF algorithm's convergence behavior by addressing the problem of asymmetric gradients caused by conflicting converging directions for positive and negative samples. The algorithm balances positive and negative losses to enhance performance and convergence speed. Furthermore, it modifies the FF algorithm by adding Intrinsic Class Pattern (ICP) containing class information to prevent the loss of class information during training. The proposed algorithm has the potential to improve our understanding of how the brain learns and processes information and to develop more effective and efficient artificial intelligence systems. The paper presents experimental results that demonstrate the effectiveness of SymBa algorithm compared to the FF algorithm and BP.

연구 동기 및 목표

• 역전파의 생물학적으로 타당한 대체 방안을 개발하여皮질 학습 메커니즘을 모방한다.
• 안정적인 학습을 방해하는 전방-전방(FF) 알고리즘의 비대칭 기울기 수렴 문제를 해결한다.
• FF의 one-hot 인코딩 오버레이 방식에서 발생하는 클래스 정보 손실을 방지한다.
• 양면적 손실 최적화 통합을 통해 수렴 속도와 모델 성능을 향상시킨다.
• 역전파 없이도 표준 비전 벤치마크에서 뛰어난 성능을 달성할 수 있음을 입증한다.

제안 방법

• SymBa는 양면적 기울기 방향을 균형 조절하여 안정적인 수렴을 보장하는 대칭 손실 함수를 도입한다.
• FF에서 one-hot 인코딩 오버레이를 대체하기 위해, 입력 채널에 통합된 희박한, 클래스별로 특화된 노이즈 패턴인 내재된 클래스 패턴(ICP)을 사용한다.
• ICP는 검은 이미지에서 무작위로 픽셀을 샘플링하여 제어된 비율(최적은 0.1)로 값 1을 할당함으로써 생성된다.
• 알고리즘은 양면적 대비 손실을 사용하여 각 레이어를 최적화하며, 양성 샘플에 대해 활성화를 최대화하고 부정성 샘플에 대해 최소화한다.
• 각 레이어 내부에서 두 번의 전방 전파를 통해 기울기를 계산함으로써 역전파를 피함으로써 생물학적 타당성을 유지한다.
• ICP 비율을 다양한 수준으로 실험하여 최적의 희박성(0.1)을 도출하였으며, 이는 과도한 기울기 폭발을 방지하면서도 클래스 분류 성능을 극대화한다.

실험 결과

연구 질문

• RQ1 역전파 없이도 표준 역전파보다 더 나은 수렴성과 성능을 달성할 수 있는가?
• RQ2 역전파 없이도 대비 학습에서 대칭적 기울기 업데이트를 어떻게 달성할 수 있는가?
• RQ3 내재된 클래스 패턴(ICP)을 통해 클래스 정보를 유지하면 one-hot 인코딩 오버레이보다 성능 향상이 이루어지는가?
• RQ4 분류 정확도를 극대화하면서도 학습 안정성을 유지하기 위한 ICP의 최적 희박성 수준은 무엇인가?
• RQ5 역전파 없이도 CIFAR-10 및 CIFAR-100과 같은 표준 비전 벤치마크에서 역전파를 초월할 수 있는가?

주요 결과

• SymBa는 모든 벤치마크에서 표준 전방-전방(FF) 알고리즘을 능가하며, ICP를 사용할 경우 CIFAR-10에서 테스트 오차 40.91%를 기록했고, one-hot 오버레이를 사용한 FF는 49.63%였다.
• SymBa는 one-hot 오버레이를 사용할 경우 CIFAR-10에서 테스트 오차 41.23%를 기록하여, FF의 49.63%보다 유의미하게 낮았다.
• Ablation 실험 결과, ICP는 one-hot 인코딩을 항상 능가하며, SymBa 프레임워크 내에서 ICP를 사용할 경우 CIFAR-10에서 0.32% 향상된 성능을 기록했다.
• 최적의 ICP 비율은 0.1로 확인되었으며, 이는 낮은 비율(예: 0.05)일 경우 클래스별 신호가 부족해 손실이 NaN으로 수렴하기 때문이었다.
• SymBa의 대칭 손실 설계 덕분에 다양한 초기화 조건에서도 일관된 수렴 기울기를 보였고, 반면 FF는 기울기 스케일의 변동성이 높았다.
• SymBa는 MNIST, CIFAR-10, CIFAR-100에서 역전파 없이도 최신 기술 수준의 성능을 달성하여, 역전파의 생물학적으로 타당한 대체 방안으로서의 잠재력을 입증했다.