[논문 리뷰] Target Propagation

Dong‐Hyun Lee, Saizheng Zhang외 3명|arXiv (Cornell University)|2014. 12. 23.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 각 층에서 자동에코더를 통해 계산된 타겟으로 역전파 기반의 기울기를 대체하는 생물학적으로 타당한 신경망을 위한 신용 할당 방법인 타겟 전파를 제안한다. 자동에코더의 부정확성 보정을 위해 차분 타겟 전파를 도입하여 연속형 및 이산형 네트워크, 특히 확률적 및 노이즈 제거 자동에코더 설정에서도 표준 역전파와 비교할 만한 성능을 달성한다.

ABSTRACT

Back-propagation has been the workhorse of recent successes of deep learning but it relies on infinitesimal effects (partial derivatives) in order to perform credit assignment. This could become a serious issue as one considers deeper and more non-linear functions, e.g., consider the extreme case of nonlinearity where the relation between parameters and cost is actually discrete. Inspired by the biological implausibility of back-propagation, a few approaches have been proposed in the past that could play a similar credit assignment role. In this spirit, we explore a novel approach to credit assignment in deep networks that we call target propagation. The main idea is to compute targets rather than gradients, at each layer. Like gradients, they are propagated backwards. In a way that is related but different from previously proposed proxies for back-propagation which rely on a backwards network with symmetric weights, target propagation relies on auto-encoders at each layer. Unlike back-propagation, it can be applied even when units exchange stochastic bits rather than real numbers. We show that a linear correction for the imperfectness of the auto-encoders, called difference target propagation, is very effective to make target propagation actually work, leading to results comparable to back-propagation for deep networks with discrete and continuous units and denoising auto-encoders and achieving state of the art for stochastic networks.

연구 동기 및 목표

• 딥 러닝에서 역전파의 생물학적 비현실성을 해결하기 위해 더 현실적인 신용 할당 메커니즘을 제안하는 것.
• 표준 역전파가 실패하는 비가역적 또는 이산형 단위를 가진 깊은 네트워크에서 효과적인 학습을 가능하게 하는 것.
• 실수값 신호 대신 이진 비트를 교환하는 확률적 단위를 사용하는 네트워크에서 작동하는 방법을 개발하는 것.
• 자동에코더의 근사 오차를 선형 보정 항으로 보정하여 학습 안정성과 성능을 향상시키는 것.
• 확률적 네트워크에서 최신 기술 수준의 성능을 달성하고, 표준 깊은 네트워크에서는 역전파와 비슷한 성능을 내는 것.

제안 방법

• 각 층에서 이전 층의 활성화를 재구성하는 데 사용되는 자동에코더를 통해 타겟을 계산한다.
• 이 타겟들이 네트워크를 거슬러 내려가며 전파되며, 이는 역전파에서 사용하는 기울기 신호를 대체한다.
• 자동에코더 재구성 오차를 보정하기 위해 차분 타겟 전파 규칙을 도입하여 수렴성과 정확도를 향상시킨다.
• 대칭 가중치나 가역적 단위가 필요 없기 때문에, 확률적 또는 이산형 단위와 함께 사용할 수 있다.
• 역전파 단계에서는 자동에코더의 디코더를 사용해 타겟을 생성하고, 이를 바탕으로 전방 가중치를 갱신한다.
• 노이즈 제거 자동에코더와도 호환되며, 연속형 및 이산형 활성화 함수 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 특히 이산형 또는 확률적 단위를 가진 네트워크에서 기울기에 의존하지 않고도 신용 할당을 달성할 수 있는가?
• RQ2 무한소 기울기가 필요 없는 생물학적으로 타당한 학습 규칙을 설계할 수 있는가?
• RQ3 자동에코더가 깊은 네트워크 학습에서 기울기의 효과적인 대체 수 Mittel로 기능할 수 있는가?
• RQ4 자동에코더의 부정확성에 대한 보정 항이 학습 성능을 크게 향상시키는가?
• RQ5 타겟 전파가 다양한 활성화 유형과 노이즈 모델을 가진 깊은 네트워크에서 표준 역전파와 비교할 만한 성능을 달성할 수 있는가?

주요 결과

• 차분 타겟 전파를 사용한 타겟 전파 방법은 연속형 및 비선형 단위를 가진 깊은 네트워크에서 표준 역전파와 비교할 만한 성능을 달성한다.
• 이 방법은 비가역성으로 인해 기존의 역전파가 실패하는 확률적 단위를 교환하는 깊은 네트워크를 성공적으로 학습시킨다.
• 차분 타겟 전파 방법은 자동에코더의 근사 오차를 효과적으로 보정하여 안정적이고 정확한 학습을 가능하게 한다.
• 이 방법은 확률적 네트워크에서 최신 기술 수준의 성능을 달성하며, 존재하는 기울기 없는 대안들보다 뛰어난 성능을 발휘한다.
• 노이즈 제거 자동에코더 설정으로도 잘 일반화되어 입력 손상 상황에서도 강력한 성능을 유지한다.
• 타겟 전파 방법은 ReLU 및 시그모이드 단위를 포함한 다양한 아키텍처와 활성화 함수에 대해 뛰어난 일반화 능력을 보이며, 강건성을 확보한다.