[논문 리뷰] The Forward-Forward Algorithm: Some Preliminary Investigations

Geoffrey E. Hinton|arXiv (Cornell University)|2022. 12. 27.

Neural Networks and Applications인용 수 117

한 줄 요약

Geoffrey Hinton은 Forward-Forward (FF) 알고리즘을 소개합니다. 이는 양의 데이터 (real)와 음의 데이터를 사용하여 다층 신경망을 학습시키는 두 번의 순방향 패스 학습 절차로, 작은 규모의 설정에서 MNIST와 CIFAR-10에 대해 경쟁력 있는 결과를 보이고, 뇌 영감 학습이나 저전력 하드웨어에 대한 역전파(backpropagation) 대비 잠재적 이점을 탐구합니다.

ABSTRACT

The aim of this paper is to introduce a new learning procedure for neural networks and to demonstrate that it works well enough on a few small problems to be worth further investigation. The Forward-Forward algorithm replaces the forward and backward passes of backpropagation by two forward passes, one with positive (i.e. real) data and the other with negative data which could be generated by the network itself. Each layer has its own objective function which is simply to have high goodness for positive data and low goodness for negative data. The sum of the squared activities in a layer can be used as the goodness but there are many other possibilities, including minus the sum of the squared activities. If the positive and negative passes could be separated in time, the negative passes could be done offline, which would make the learning much simpler in the positive pass and allow video to be pipelined through the network without ever storing activities or stopping to propagate derivatives.

연구 동기 및 목표

• 뇌의 타당성과 실시간 처리 제약으로 인해 역전파(backpropagation)에 대안이 되는 학습 절차의 필요성을 제시한다.
• Forward-Forward (FF) 알고리즘과 서로 다른 목표를 가진 두 개의 순방향 패스를 소개한다.
• 작은 규모의 문제(MNIST, CIFAR-10)에서 FF를 시연하고 역전파와의 성능 비교를 분석한다.
• 계층별 좋음(goodness) 척도와 계층 정규화가 역전파 없이 다층 학습을 가능하게 하는지 탐구한다.
• 피질 영감을 받은 학습과 저전력 하드웨어를 위한 FF의 잠재적 이점을 논의한다.

제안 방법

• 계층별 좋음 함수(예: 활성의 제곱합)를 정의하고 두 번의 순방향 패스: 양의 데이터 (high goodness)와 음의 데이터 (low goodness)를 사용한다.
• 양의 데이터에 대해 좋음을 증가시키고 음의 데이터에 대해 감소시키는 로컬 목표로 각 계층을 탐욕적으로 학습한다.
• 은닉 계층의 활성화를 방향(orientation)만 전달하도록 정규화한다(길이는 좋음의 척도으로 보존되나 절대 규모는 아님).
• 활성 제곱합(squared-activity goodness)와 그 음수를 모두 실험하고, 계층 간 정보 누출을 방지하기 위해 계층 정규화를 적용한다.
• 다양한 구조의 MNIST에서 평가하며, 각 층에 2000 ReLUs를 갖는 4-층 네트워크를 포함하고 역전파 벤치마크와 비교한다.
• 비디오와 유사한 입력에 대한 순환/시간적 처리로 FF를 확장하고, 교수 신호로서 상향식(bottom-up)과 하향식(top-down) 합의를 논의한다.

실험 결과

연구 질문

• RQ1 Forward-Forward 알고리즘이 역전파 없이 의미 있는 다층 표현을 학습할 수 있는가?
• RQ2 작은 규모 설정에서 표준 벤치마크(MNIST, CIFAR-10)에서 FF는 역전파와 비교하여 어떤 성능을 보이는가?
• RQ3 계층 정규화와 좋음 함수의 선택이 계층 간 정보 누출을 방지하는 데 어떤 역할을 하는가?
• RQ4 FF를 순환 설정으로 확장하여 상향식 영향과 지각 예측을 모델링할 수 있는가?
• RQ5 피질과 같은 학습 및 저전력 하드웨어에 대한 FF의 한계점과 잠재적 이점은 무엇인가?

주요 결과

• FF는 계층별 목표를 사용하여 양의 데이터와 음의 데이터로 다층 표현을 학습할 수 있다.
• MNIST에서 FF는 여러 설정에서 경쟁력 있는 테스트 오류를 달성하며, 감독 학습 및 비지도 버전을 포함한 구성에서 역전파에 근접한 결과를 보인다.
• CIFAR-10 실험에서 로컬 수용 필드를 사용하는 경우 FF는 역전파보다 다소 떨어지지만 충분한 은닉 단위와 적절한 연결성을 사용하면 유사한 성능을 보인다.
• FF를 재귀 처리로 확장하고 상향식 맥락을 교수 신호로 사용하는 경우 순환 아키텍처에서 MNIST에서 합리적인 성능을 얻는다.
• FF는 역전파를 피함으로써 피질 영감을 받은 학습과 저전력 아날로그 하드웨어에 대한 잠재적 이점을 보이지만, 실험된 소규모 작업에서 일반적으로 역전파보다 느리고 정확도가 낮은 편이다.