[논문 리뷰] Deriving Differential Target Propagation from Iterating Approximate Inverses

Yoshua Bengio|arXiv (Cornell University)|2020. 07. 29.

Face and Expression Recognition참고 문헌 23인용 수 18

한 줄 요약

이 논문은 각 층의 역전파를 학습된 오토인코더를 통해 반복적으로 근사하는 역함수를 사용하여 가중치 갱신을 위한 타겟을 생성하는 생물학적으로 타당한 학습 규칙, 미분형 타겟 전파를 제안한다. 이 방법은 행렬 역행렬 계산 없이도 가우스-뉴턴 최적화를 암묵적으로 수행하며, 오토인코더 재구성 오차가 작을 경우 지수적으로 빠르게 수렴한다. 또한 영향력 있는 층을 우선시하기 위한 정규화 기법을 도입한다.

ABSTRACT

We show that a particular form of target propagation, i.e., relying on learned inverses of each layer, which is differential, i.e., where the target is a small perturbation of the forward propagation, gives rise to an update rule which corresponds to an approximate Gauss-Newton gradient-based optimization, without requiring the manipulation or inversion of large matrices. What is interesting is that this is more biologically plausible than back-propagation yet may turn out to implicitly provide a stronger optimization procedure. Extending difference target propagation, we consider several iterative calculations based on local auto-encoders at each layer in order to achieve more precise inversions for more accurate target propagation and we show that these iterative procedures converge exponentially fast if the auto-encoding function minus the identity function has a Lipschitz constant smaller than one, i.e., the auto-encoder is coarsely succeeding at performing an inversion. We also propose a way to normalize the changes at each layer to take into account the relative influence of each layer on the output, so that larger weight changes are done on more influential layers, like would happen in ordinary back-propagation with gradient descent.

연구 동기 및 목표

• 각 층에서 학습된 역함수를 사용함으로써 가중치 운반 문제를 피하는 생물학적으로 타당한 역전파의 대안을 개발하기 위해.
• 전방 및 역방향 전파에서 비대칭적인 가중치 공유와 불일치하는 비선형성으로 인해 발생하는 역전파의 생물학적 비타당성을 해결하기 위해.
• 타겟 전파의 이론적 기반을 제공하기 위해, 명시적인 행렬 역행렬 계산 없이도 가우스-뉴턴 최적화를 근사한다는 것을 보여주기 위해.
• 지역 오토인코더 기반의 반복 피드백 루프를 사용하여 타겟 전파의 정확도를 향상시키고 수렴 보장을 제공하기 위해.
• 최종 출력에 대한 각 층의 영향력을 정규화하여 의미 있는 가중치 갱신을 보장하기 위해.

제안 방법

• 각 층에서 국소 오토인코더를 사용하여 전방 전파의 역함수를 근사함으로써 피드백 타겟 계산을 가능하게 한다.
• 반복 피드백 업데이트를 적용하여 타겟을 정밀화하며, 오토인코더의 재구성 오차(항등함수 대비)의 리프시츠 상수가 1 미만일 경우 지수적으로 수렴한다.
• 반복 피드백 과정에서 유도된 갱신 규칙은 명시적인 헤시안 또는 야코비안 행렬 계산 없이도 근사된 가우스-뉴턴 최적화 단계와 수학적으로 동일하다.
• 데이터 기반 활성화와 타겟 기반 피드백 사이의 균형을 조절하는 파라미터 γ를 사용한 정규화 기법을 도입하여 안정성과 수렴성을 향상시킨다.
• 피드백 유닛이 현재 전방 활성화와 타겟 양쪽 모두로 향하도록 조정하는 리라크스 메커니즘을 적용하며, γ가 이 균형을 조절한다.
• 하위 층이 상위 층의 역함수를 더 쉽게 만들 수 있도록 하여 네트워크 전반의 일관성을 향상시키는 전역 피드백 루프 확장 기법을 제안한다.

실험 결과

연구 질문

• RQ1 네트워크 층의 반복적 근사 역함수는 깊은 신경망에서 타겟 전파에 대해 안정적이고 효율적인 방법을 제공할 수 있는가?
• RQ2 제안된 방법은 명시적인 행렬 역행렬 계산 없이도 암묵적으로 가우스-뉴턴 최적화를 수행하는가?
• RQ3 반복 피드백 과정은 어떤 조건에서 수렴하며, 수렴 속도는 얼마나 빠른가?
• RQ4 각 층의 최종 출력에 대한 영향력을 어떻게 정규화하여 의미 있는 가중치 갱신을 보장할 수 있는가?
• RQ5 피드백 메커니즘을 전역적으로 확장하여 층 간의 일관성을 향상시키고 시간에 따라 신뢰도를 할당하는 데 기여할 수 있는가?

주요 결과

• 제안된 미분형 타겟 전파 방법은 오토인코더의 재구성 오차(항등함수 대비)의 리프시츠 상수가 1 미만일 경우 지수적으로 수렴한다.
• 반복 피드백 과정에서 도출된 갱신 규칙은 수학적으로 근사된 가우스-뉴턴 업데이트와 동일하며, 표준 SGD보다 더 강력한 최적화 절차를 제공할 수 있다.
• 이 방법은 큰 행렬을 저장하거나 역행렬을 계산할 필요가 없어, 두차원 최적화를 근사함에도 불구하고 계산적으로 효율적이다.
• 파라미터 γ를 통한 정규화는 더 큰 가중치 갱신이 더 영향력 있는 층에서 발생하도록 보장하며, 전통적인 역전파의 기울기 하강법과 유사한 행동을 재현한다.
• 피드백 메커니즘은 원래 전방 활성화에 더 가까운 해를 선호하는 정규화의 한 형태로 해석될 수 있으며, 안정성을 향상시킨다.
• 주의 메커니즘을 사용해 관련된 과거 사건을 선택함으로써 시간에 따른 신뢰도 할당을 위한 길을 제시하며, 이는 희소 주의적 역추적과 유사하다.