[논문 리뷰] Difference Target Propagation

Dong‐Hyun Lee|arXiv (Cornell University)|2014. 12. 23.

Neural Networks and Applications참고 문헌 19인용 수 13

한 줄 요약

이 논문은 백프로파게이션의 생물학적으로 타당하지 않은 점과 수학적 취약성을 해결하기 위해, 각 층의 타겟을 기울기 대신 오토인코더를 사용해 계산하는, 생물학적으로 타당한 대안인 차분 타겟 전파(Difference Target Propagation, DTP)를 소개한다. DTP는 오토인코더의 근사 오차를 보완하기 위해 선형 보정을 적용하여, 이산적이고 확률적인, 연속적인 단위를 가진 심층 네트워크의 효과적인 학습을 가능하게 하며, 이로써 이산적인 MNIST 네트워크에서 1.54%의 테스트 오차를 기록하여 최신 기준 성능을 달성한다.

ABSTRACT

Back-propagation has been the workhorse of recent successes of deep learning but it relies on infinitesimal effects (partial derivatives) in order to perform credit assignment. This could become a serious issue as one considers deeper and more non-linear functions, e.g., consider the extreme case of nonlinearity where the relation between parameters and cost is actually discrete. Inspired by the biological implausibility of back-propagation, a few approaches have been proposed in the past that could play a similar credit assignment role. In this spirit, we explore a novel approach to credit assignment in deep networks that we call target propagation. The main idea is to compute targets rather than gradients, at each layer. Like gradients, they are propagated backwards. In a way that is related but different from previously proposed proxies for back-propagation which rely on a backwards network with symmetric weights, target propagation relies on auto-encoders at each layer. Unlike back-propagation, it can be applied even when units exchange stochastic bits rather than real numbers. We show that a linear correction for the imperfectness of the auto-encoders, called difference target propagation, is very effective to make target propagation actually work, leading to results comparable to back-propagation for deep networks with discrete and continuous units and denoising auto-encoders and achieving state of the art for stochastic networks.

연구 동기 및 목표

• 강한 비선형성 또는 이산 단위 행동을 보일 경우 백프로파게이션의 생물학적 비타당성과 수학적 취약성 문제를 해결하기 위해.
• 정밀한 도함수나 대칭 피드백 가중치에 의존하지 않는 신용 할당 메커니즘을 개발하기 위해.
• 단위 간 소통이 이산적 값이나 확률적 비트를 통해 이루어지는 심층 네트워크의 효과적인 학습을 가능하게 하기 위해.
• 오토인코더의 근사 오차에 대해 강건한 타겟 계산 방법을 제공하기 위해.

제안 방법

• 백프로파게이션을 타겟 전파로 대체함: 각 층은 기울기 대신 손실 기울기 기반으로 활성화에 대한 타겟을 계산함.
• 각 층에서 오토인코더를 사용해 활성화에서 타겟으로의 역함수를 학습함으로써 도함수 없이 피드백을 가능하게 함.
• 오토인코더의 역함수의 부정확성을 보완하기 위해 선형 보정 항을 도입함으로써 학습 안정성과 정확도를 향상시킴.
• 백프로파게이션 없이 복원 손실을 사용하여 오토인코더를 학습하기 위해 동일한 타겟 전파 원리를 적용함.
• 계산된 타겟을 사용하여 각 층을 독립적으로 업데이트하기 위해 층별 국소 학습 기준(예: 델타 규칙)을 활용함.
• 시그모이드 확률을 가지며 베르누이 샘플링을 통해 샘플링하는 이산 이진 단위를 사용하여, 스파iking 뉴런 행동을 모델링함.

실험 결과

연구 질문

• RQ1 연속적 단위를 가진 심층 순전파 네트워크에서 오토인코더 피드백을 사용한 타겟 전파가 백프로파게이션과 유사한 성능을 달성할 수 있는가?
• RQ2 차분 타겟 전파가 이진 확률적 뉴런과 같은 이산적 또는 확률적 단위를 가진 심층 네트워크를 효과적으로 학습시킬 수 있는가?
• RQ3 표준 백프로파게이션과 비교했을 때, 타겟 전파가 노이즈 제거 오토인코더에서 얼마나 잘 작동하는가?
• RQ4 백프로파게이션 없이 타겟 전파를 사용해 표현을 사전 학습시킬 수 있으며, 그로 인한 특징은 얼마나 우수한가?
• RQ5 선형 보정 항(차분 타겟 전파)이 단순한 타겟 전파보다 수렴성과 정확도를 크게 향상시키는가?

주요 결과

• 차분 타겟 전파는 이산적 네트워크와 이진 단위를 사용해 MNIST에서 1.54%의 테스트 오차를 기록하여 기준선인 직선 스트로프 기울기 추정기보다 우수한 성능을 달성했다.
• 이 방법은 이산적 MNIST에서 최신 기준 성능을 달성했으며, 이전에 보고된 1.63% 및 1.71%의 결과를 초월했다.
• 선형 보정을 적용한 타겟 전파(DTP)는 오토인코더가 완벽하지 않은 경우에도 안정적이고 효과적인 학습을 가능하게 하여 근사 오차에 대한 강건성을 입증했다.
• DTP를 통해 학습된 오토인코더는 의미 있는 스토리지 유사 필터를 학습했으며, 백프로파게이션을 통한 미세조정 후 1.35%의 테스트 오차를 기록하여 표준 오토인코더 사전 학습과 유사한 성능을 달성했다.
• DTP는 연속적 단위를 가진 심층 네트워크와 노이즈 제거 오토인코더에서 RMSprop 기반 백프로파게이션과 유사한 성능을 보였다.
• 결과적으로 타겟 전파가 이산 전송을 가진 네트워크 학습에 가능함을 입증하며, 생물학적으로 타당한 학습 규칙로의 잠재력을 시사한다.