[논문 리뷰] How Auto-Encoders Could Provide Credit Assignment in Deep Networks via Target Propagation

Yoshua Bengio|arXiv (Cornell University)|2014. 07. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 52인용 수 119

한 줄 요약

이 논문은 딥 네트워크에서 타겟 전파를 가능하게 하기 위해 오토인코더를 사용하는 것을 제안한다. 백프로파게이션을 대체하여 기울기 의존도를 줄이기 위해 학습된 복원 신호를 사용한다. 인코딩된 표현에서 입력을 복원하도록 딥 오토인코더를 훈련시킴으로써, 각 층의 국소적 훈련 신호를 통해 생물학적으로 타당한 신용 할당 메커니즘이 제공되며, 비선형성과 잠재적으로 이산 단위를 포함한 딥 네트워크의 훈련이 가능해진다.

ABSTRACT

We propose to exploit {\em reconstruction} as a layer-local training signal for deep learning. Reconstructions can be propagated in a form of target propagation playing a role similar to back-propagation but helping to reduce the reliance on derivatives in order to perform credit assignment across many levels of possibly strong non-linearities (which is difficult for back-propagation). A regularized auto-encoder tends produce a reconstruction that is a more likely version of its input, i.e., a small move in the direction of higher likelihood. By generalizing gradients, target propagation may also allow to train deep networks with discrete hidden units. If the auto-encoder takes both a representation of input and target (or of any side information) in input, then its reconstruction of input representation provides a target towards a representation that is more likely, conditioned on all the side information. A deep auto-encoder decoding path generalizes gradient propagation in a learned way that can could thus handle not just infinitesimal changes but larger, discrete changes, hopefully allowing credit assignment through a long chain of non-linear operations. In addition to each layer being a good auto-encoder, the encoder also learns to please the upper layers by transforming the data into a space where it is easier to model by them, flattening manifolds and disentangling factors. The motivations and theoretical justifications for this approach are laid down in this paper, along with conjectures that will have to be verified either mathematically or experimentally, including a hypothesis stating that such auto-encoder mediated target propagation could play in brains the role of credit assignment through many non-linear, noisy and discrete transformations.

연구 동기 및 목표

• 딥 러닝에서 깊고 비선형적이며 잠재적으로 이산적인 표현 간의 신용 할당 문제를 해결하기 위해.
• 딥 또는 순환 네트워크에서 강한 비선형성을 가진 경우 백프로파게이션의 한계에 의존도를 줄이기 위해.
• 오토인코더가 깊은 아키텍처에서 기울기 계산의 학습된 국소적 대체물로 기능할 수 있는지 탐색하기 위해.
• 복원을 목표로 사용함으로써 백프로파게이션을 일반화하는 프레임워크를 제안하여, 이산 히든 유닛을 포함한 훈련이 가능하게 하기 위해.
• 이 메커니즘이 뇌에서의 신용 할당 모델로 생물학적으로 타당한지 탐구하기 위해.

제안 방법

• 각 층이 위에 있는 층의 표현을 복원하도록 학습하는 딥 오토인코더 아키텍처를 사용하며, 오토인코더의 입력으로 입력과 보조 정보(예: 레이블)를 사용한다.
• 복원 결과가 입력보다 더 가능성 있는 버전이 되도록 오토인코더를 훈련시켜, 기울기 하강의 일반화된 형태로 간주한다.
• 오토인코더의 디코딩 경로를 학습된 비선형적 일반화로 사용하여, 네트워크를 거슬러 내려가 복원 목표를 전파함으로써 타겟 전파를 적용한다.
• 타겟 전파를 통해 기울기를 일반화하여 무한소가 아닌 변화와 이산 변환을 다룰 수 있도록 하여, 이산 히든 유닛을 포함한 네트워크의 훈련을 가능하게 한다.
• 데이터를 상위 층이 더 쉽게 모델링할 수 있는 공간으로 변환하기 위해 인코더를 사용하며, 다양체를 평탄화하고 변동 요인을 분리한다.
• 정규화를 도입하고, 선택적으로 손상 또는 누락된 입력을 추가하여 내성적 강도를 향상시키고 다중 모odal리티를 다룰 수 있도록 한다.

실험 결과

연구 질문

• RQ1 오토인코더의 복원 결과가 딥 네트워크에서 효과적이고 학습된 타겟으로서의 신용 할당에 적합한가?
• RQ2 백프로파게이션에 실패하는 강한 비선형성과 이산 히든 유닛을 다룰 수 있는가?
• RQ3 이 방법이 뇌에서의 신용 할당에 생물학적으로 타당한 메커니즘을 제공하는가?
• RQ4 이 접근법은 무한소가 아닌 변화를 초월하여 백프로파게이션을 일반화하여 깊은 비선형 연산 체인을 거쳐 훈련할 수 있는가?
• RQ5 이 방법은 모호한 사후 확률, 누락된 모달리티 또는 시간적 의존성을 다루기 위해 어떻게 확장될 수 있는가?

주요 결과

• 제안된 오토인코더를 통한 타겟 전파 방식은 학습된 비선형 방식으로 기울기 전파를 일반화하여, 깊고 비선형적이며 이산적인 변환을 거쳐도 신용 할당이 가능할 수 있다.
• 복원 신호를 국소적으로 계산하고 전파함으로써 백프로파게이션 의존도를 줄여, 기울기 소멸/폭발 문제에 대한 잠재적 해결책을 제공한다.
• 인코더는 상위 층이 더 쉽게 모델링할 수 있는 표현을 학습하며, 다양체 평탄화와 변동 요인의 분리에 기여한다.
• 조건부 오토인코더를 지원하여 보조 정보(예: 레이블)를 사용해 복원을 유도함으로써 구조적 데이터의 모델링을 향상시킬 수 있다.
• 이 접근법은 복원이 기울기 계산의 대체 수단으로 작용할 수 있으며, 생물학적 신경 회로와의 잠재적 관련성이 있다.
• 논문은 노이즈 주입, 모달리티, 순환 네트워크, 시간 동적 특성에 대한 열린 질문을 규명하며, 향후 실험적 및 이론적 검증 방향을 제시한다.