[논문 리뷰] Backpropagation-Friendly Eigendecomposition

Wei Wang, Zheng Dang외 3명|arXiv (Cornell University)|2019. 06. 21.

Algorithms and Data Compression참고 문헌 21인용 수 16

한 줄 요약

이 논문은 딥러닝을 위한 수치적으로 안정적이고 미분 가능한 고유분해 방법을 제안한다. 전방 전파에서는 SVD를, 역방향 전파에서는 파워 반복법을 활용하여 고유값이 가까운 경우나 큰 행렬일 경우에도 안정적인 기울기 계산을 가능하게 한다. 이는 강력한 ZCA 화이트닝과 새로운 정규화 레이어인 PCA 노이즈 제거 기능을 가능하게 하여 CIFAR-10에서 배치 정규화와 표준 고유분해보다 안정성과 정확도에서 뛰어난 성능을 발휘한다.

ABSTRACT

Eigendecomposition (ED) is widely used in deep networks. However, the backpropagation of its results tends to be numerically unstable, whether using ED directly or approximating it with the Power Iteration method, particularly when dealing with large matrices. While this can be mitigated by partitioning the data in small and arbitrary groups, doing so has no theoretical basis and makes its impossible to exploit the power of ED to the full. In this paper, we introduce a numerically stable and differentiable approach to leveraging eigenvectors in deep networks. It can handle large matrices without requiring to split them. We demonstrate the better robustness of our approach over standard ED and PI for ZCA whitening, an alternative to batch normalization, and for PCA denoising, which we introduce as a new normalization strategy for deep networks, aiming to further denoise the network's features.

연구 동기 및 목표

• 특히 고유값이 가까운 경우나 행렬이 클 경우 고유분해를 역전파할 때 발생하는 수치적 불안정성을 해결한다.
• 기본 SVD와 파워 반복법의 한계를 극복한다. 이는 기울기 폭발이나 초기화 및 반복 횟수에 대한 민감성으로 인해 발생한다.
• 임의의 채널 분할 없이 전체 랭크 고유분해를 사용할 수 있도록 하여 모델 용량과 이론적 일관성을 유지한다.
• 불필요한 특징 노이즈를 제거하고 분류 성능을 향상시키기 위해 PCA 노이즈 제거를 새로운 정규화 전략으로 도입한다.
• 제안된 하이브리드 방법이 표준 SVD, 파워 반복법, 또는 배치 정규화보다 더 뛰어난 학습 안정성과 낮은 오차율을 달성함을 입증한다.

제안 방법

• 전방 전파에서 정확한 고유벡터와 고유값을 계산하기 위해 SVD를 사용하여 전방 계산의 수치적 안정성을 확보한다.
• 역방향 전파에서 SVD 결과를 파워 반복법의 초기값으로 활용하여 기울기를 계산한다.
• 고유값이 가까운 경우에 불안정해지는 것을 방지하기 위해 분석적 SVD 도함수 대신 파워 반복법을 통해 기울기를 계산한다.
• 파워 반복법의 반복 횟수로 기울기 크기를 제한하여, 근접한 고유값이 존재하는 경우에도 폭발을 방지한다.
• PyTorch의 파이썬 기반 자동 미분를 사용하여 역방향 전파를 구현하며, 전방 전파는 안정적인 SVD 분해에 의존한다.
• 유지되는 분산 비율 또는 고정된 수로 기반으로 고유벡터의 수를 동적으로 조정하여 탄력적인 PCA 노이즈 제거를 가능하게 한다.

실험 결과

연구 질문

• RQ1 근접한 고유값이 존재하는 상황에서도 SVD와 파워 반복법을 융합한 하이브리드 고유분해 방법이 딥 네트워크에서 안정적인 역전파를 달성할 수 있는가?
• RQ2 제안된 방법이 고유분해 기반 레이어의 학습 안정성과 수렴성 측면에서 표준 SVD와 파워 반복법보다 뛰어나게 되는가?
• RQ3 새로운 고유분해 방법을 통해 가능해진 PCA 노이즈 제거 기능은 딥 네트워크에서 배치 정규화의 효과적인 대체 수단이 될 수 있는가?
• RQ4 파워 반복법의 반복 횟수가 제안된 프레임워크에서 기울기 계산의 정확도와 안정성에 어떤 영향을 미치는가?
• RQ5 분산의 다양한 비율을 유지할 경우, 분류 작업에서 PCA 노이즈 제거 레이어의 성능에 어떤 영향을 미치는가?

주요 결과

• PCA 노이즈 제거를 사용한 평균 테스트 오차는 CIFAR-10에서 4.63% ± 0.11을 기록하여 배치 정규화(4.81% ± 0.19)를 초월했다.
• PCA 노이즈 제거 레이어에서 분산의 99%를 유지할 경우 최고의 성능을 기록했으며, 오차율은 4.63% ± 0.11이었다.
• 역방향 전파에서 2회의 파워 반복만으로도 거의 최적의 성능(오차율 4.63%)을 달성했으며, 29회의 반복 결과와 매우 유사했다.
• 이 방법은 매끄러운 손실 곡선을 보이며 뛰어난 학습 안정성을 입증했고, 표준 파워 반복법는 심한 불안정성과 더 높은 최종 오차를 보였다.
• 표준 SVD 기반 역전파에서는 5번의 시도 중 5번 모두 기울기 폭발로 인해 NaN 값이 발생하여 실패했으나, 제안된 방법은 안정적으로 유지되었다.
• 유지되는 고유벡터 수(8~32개)에 관계없이 PCA 노이즈 제거 레이어는 일관된 성능을 유지했으며, 최적의 성능은 16개 고유벡터(약 99.9% 분산 유지)에서 달성되었다.