[논문 리뷰] How Important is Weight Symmetry in Backpropagation?

Qianli Liao, Joel Z. Leibo외 1명|arXiv (Cornell University)|2015. 10. 17.

Machine Learning and ELM참고 문헌 50인용 수 64

한 줄 요약

이 논문은 딥러닝에서 역전파(BP)에 있어 가중치 대칭성이 필수적인지 조사한다. 연구자는 부호 일致성(feedback 가중치)을 갖는 비대칭 BP를 제안하고, 배치 정규화(BN)와/또는 배치 맨하탄(BM) 정규화를 사용할 경우, 피드백 가중치의 크기가 무작위여도 성능이 높게 유지됨을 보여준다. 핵심 발견은 가중치의 크기보다는 피드포워드 및 피드백 가중치 간의 부호 일치성이 중요하다는 점으로, 이는 완벽한 가중치 대칭성이 없더라도 BP가 생물학적으로 타당할 수 있음을 시사한다.

ABSTRACT

Gradient backpropagation (BP) requires symmetric feedforward and feedback connections -- the same weights must be used for forward and backward passes. This "weight transport problem" (Grossberg 1987) is thought to be one of the main reasons to doubt BP's biologically plausibility. Using 15 different classification datasets, we systematically investigate to what extent BP really depends on weight symmetry. In a study that turned out to be surprisingly similar in spirit to Lillicrap et al.'s demonstration (Lillicrap et al. 2014) but orthogonal in its results, our experiments indicate that: (1) the magnitudes of feedback weights do not matter to performance (2) the signs of feedback weights do matter -- the more concordant signs between feedforward and their corresponding feedback connections, the better (3) with feedback weights having random magnitudes and 100% concordant signs, we were able to achieve the same or even better performance than SGD. (4) some normalizations/stabilizations are indispensable for such asymmetric BP to work, namely Batch Normalization (BN) (Ioffe and Szegedy 2015) and/or a "Batch Manhattan" (BM) update rule.

연구 동기 및 목표

• 역전파에서 완벽한 가중치 대칭성이 높은 성능을 내기 위해 필수적인지 조사하기.
• 표준 BP의 가중치 운반 문제를 완화하는 생물학적으로 타당한 대안을 탐색하기.
• 비대칭 BP가 작동하기 위해 필요한 구성 요소(예: 정규화, 업데이트 규칙)를 특정하기.
• 학습 성능에 영향을 주는 피드백 가중치의 부호 일치성과 크기 간의 역할 평가하기.
• 적절한 안정화 조건이 있을 경우, 무작위 또는 고정된 피드백 가중치가 여전히 효과적인 학습을 가능하게 하는지 평가하기.

제안 방법

• 저자들은 피드포워드 및 피드백 가중치 행렬을 분리하여 V ≠ W가 되도록 비대칭 역전파를 구현한다.
• 학습에 미치는 영향을 테스트하기 위해 피드백 가중치의 크기와 부호를 체계적으로 변화시킨다.
• 비대칭 피드백을 사용한 훈련을 안정화하기 위해 배치 정규화(BN)와 새로운 배치 맨하탄(BM) 업데이트 규칙을 적용한다.
• 다양한 피드백 가중치 구성(무작위, 고정, 부호 일치)을 사용하여 15개의 분류 데이터셋에서 성능을 비교한다.
• 오직 마지막 레이어 또는 오직 첫 번째 레이어만 훈련시켜 피드백의 역할을 분리하여 분석하는 제어 실험을 수행한다.
• 다양한 BM 설정의 영향을 분석하고, 대칭 및 비대칭 BP 모두에서 그 탄력성을 확인한다.

실험 결과

연구 질문

• RQ1 피드백 가중치의 크기가 역전파의 학습 성능에 유의미하게 영향을 미치는가?
• RQ2 부호 일치성만 유지할 경우, 피드백 가중치의 크기가 무작위이거나 고정되어도 역전파가 높은 성능을 달성할 수 있는가?
• RQ3 비대칭 BP가 작동하기 위해 배치 정규화와 같은 정규화 기법과 배치 맨하탄 같은 업데이트 규칙이 필수적인가?
• RQ4 피드포워드 및 피드백 가중치 간의 부호 일치 수준이 학습 성능에 어떻게 영향을 미치는가?
• RQ5 BN과/또는 BM을 결합할 경우, 무작위 피드백 가중치가 여전히 효과적인 학습을 가능하게 하는지, 그리고 그 메커니즘은 무엇인가?

주요 결과

• 피드백 가중치의 크기는 성능에 유의미하게 영향을 주지 않으며, 부호만 중요하다.
• 100%의 부호 일치성과 무작위 크기를 갖는 비대칭 BP는 표준 SGD와 비교해도 동등하거나 더 높은 성능을 달성한다.
• 비대칭 피드백을 사용한 훈련을 안정화하기 위해 배치 정규화와/또는 배치 맨하탄가 필수적이다. 이들이 없을 경우 기울기가 폭발하거나 소멸한다.
• 고정된 무작위 피드백 가중치도 BN과 함께 사용할 경우 우연보다 우수한 성능을 보이며, 이는 레이어 간의 공진화(co-adaptation)가 학습을 가능하게 함을 시사한다.
• 부호 일치 피드백은 하위 레이어로 의미 있는 오차 신호가 전파되도록 보장하지만, 무작위 피드백만으로는 BN이 함께 없으면 실패한다.
• 배치 맨하탄와 배치 정규화는 상호 보완적이며, 특히 작은 데이터셋에서 성능 향상에 크게 기여한다.