[논문 리뷰] The HSIC Bottleneck: Deep Learning without Back-Propagation

Wan-Duo Kurt Ma, J. P. Lewis외 1명|arXiv (Cornell University)|2019. 08. 05.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 힐버트-슈미트 독립성 기준(HSIC)을 사용하여 정보 버블티즌 원리의 근사치로 작동하는 백프로파게이션을 필요로 하지 않는 깊이 신경망 학습 방법인 HSIC 버블티즌을 제안한다. 레이어 활성화와 레이블 간의 HSIC를 최대화하고 입력에 대한 의존도를 최소화함으로써, 백프로파게이션 없이 계층별로 네트워크를 훈련시키며, 표준 백프로파게이션과 비교해 유사한 분류 정확도를 달성한다. 특히 최종 분류 레이어를 SGD로 훈련시킨 조합에서는 성능이 뛰어나다.

ABSTRACT

We introduce the HSIC (Hilbert-Schmidt independence criterion) bottleneck for training deep neural networks. The HSIC bottleneck is an alternative to the conventional cross-entropy loss and backpropagation that has a number of distinct advantages. It mitigates exploding and vanishing gradients, resulting in the ability to learn very deep networks without skip connections. There is no requirement for symmetric feedback or update locking. We find that the HSIC bottleneck provides performance on MNIST/FashionMNIST/CIFAR10 classification comparable to backpropagation with a cross-entropy target, even when the system is not encouraged to make the output resemble the classification labels. Appending a single layer trained with SGD (without backpropagation) to reformat the information further improves performance.

연구 동기 및 목표

• 백프로파게이션과 관련된 문제들, 예를 들어 기울기 소실/폭발 문제와 가중치 전송 문제를 피하는 딥러닝 학습 방법을 개발하는 것.
• 교차 엔트로피 손실의 정보 이론적 대안으로 상호정보량을 학습 목표로 삼는 것.
• 딥 네트워크에서 상호정보량을 계산하는 데서 발생하는 실용적 과제를 해결하기 위해 비모수적 대체량으로 HSIC를 사용하는 것.
• 딥 네트워크를 백프로파게이션 없이 효과적으로 훈련시킬 수 있으며, 표준 벤치마크에서 경쟁 가능한 성능을 유지할 수 있음을 보여주는 것.
• HSIC 기반 계층별 최적화를 통해 병렬 처리 가능성과 생물학적 타당성을 확보한 훈련 방법의 타당성을 평가하는 것.

제안 방법

• 방법은 레이어 활성화와 레이블 간의 통계적 의존도를 측정하기 위해 힐버트-슈미트 독립성 기준(HSIC)을 사용한다.
• 각 레이어에 대해 활성화와 레이블 간의 HSIC를 최대화하고, 활성화와 입력 간의 HSIC를 최소화함으로써 정보 버블티즌을 효과적으로 근사한다.
• 백프로파게이션과 체인 룰이 필요 없이, 계층별로 블록 좌표 강하 방식으로 훈련을 수행한다.
• 최종 네트워크 출력은 거의 one-hot 형태이며, 고정된 순열 후 추가 훈련 없이 직접 분류가 가능하다.
• 표현을 정밀하게 다듬기 위해, 백프로파게이션 없이 SGD로 훈련된 단일 분류 레이어를 추가함으로써 성능을 향상시킬 수 있다.
• 다양한 커널 대역폭(σ)을 가진 여러 네트워크를 동시에 훈련하고 집계함으로써 다중 척도 의존성의 특성을 포착한다.

실험 결과

연구 질문

• RQ1 딥 네트워크를 백프로파게이션 없이 정보 이론적 목표를 사용하여 효과적으로 훈련시킬 수 있는가?
• RQ2 HSIC가 딥 러닝에서 상호정보량의 실용적 대체량으로 기능할 수 있는가? 특히 분할 또는 비모수적 가정이 필요 없이 말이다.
• RQ3 HSIC 버블티즌은 딥 백프로파게이션에서 흔히 발생하는 기울기 소실 및 폭발 문제를 완화할 수 있는가?
• RQ4 HSIC-버블티즌으로 훈련된 네트워크는 이미지 분류 작업에서 표준 백프로파게이션과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 이 방법은 병렬 또는 계층별 훈련을 가능하게 하여 순차적 역전파 단계에 대한 의존도를 줄일 수 있는가?

주요 결과

• HSIC 버블티즌은 스킵 커넥션 없이도 매우 깊은 네트워크를 훈련시킬 수 있으며, 기울기 소실 문제로 인해 백프로파게이션에 실패하는 경우에도 작동한다.
• MNIST, FashionMNIST, CIFAR10에서 HSIC로 훈련된 네트워크는 각각 98.2%, 87.9%, 58.7%의 테스트 정확도를 기록했으며, 백프로파게이션 기준 모델과 유사한 성능을 보였다.
• 백프로파게이션 없이 SGD로 훈련된 단일 분류 레이어를 추가함으로써, MNIST, FashionMNIST, CIFAR10에서 각각 98.8%, 88.3%, 59.4%의 테스트 정확도로 성능이 향상되었다.
• 세 개의 병렬 HSIC 네트워크(σ = 1, 5, 10)로 구성된 다중 척도 네트워크는 단일 σ 모델보다 성능이 뛰어나, 다중 척도 표현 학습이 성능 향상에 기여함을 시사한다.
• ResNet 실험에서, 최종 레이어에 대한 포맷 훈련 방식은 표준 백프로파게이션보다 더 빠르게 수렴했으며, 더 적은 에포크 수로 높은 정확도를 달성했다.
• 이 방법은 역전파 스윕, 업데이트 잠금, 대칭 피드백이 필요 없어지며, 더 단순하고 병렬 처리에 더 적합한 학습 프레임워크를 제공한다.