[논문 리뷰] A Closer Look at Double Backpropagation

Christian Etmann|arXiv (Cornell University)|2019. 06. 16.

Speech and Audio Processing참고 문헌 16인용 수 6

한 줄 요약

이 논문은 힐버트 공간에서 프레셰 도함수를 사용하여 신경망의 이중 역전파를 통합된 이론적 프레임워크로 제공함으로써, 입력 도함수를 포함하는 기울기 페널티의 최적화된 계산을 가능하게 한다. 제약 조건이 있는 자코비안 노름 페널티의 경우 계산 비용을 최대 1/3 감소시키며, 배치 최적화가 ReLU 기반 손실 곡면의 불연속성을 완화시켜 비록 기울기가 미분 가능하지 않더라도 안정적인 학습을 보장함을 보여준다.

ABSTRACT

In recent years, an increasing number of neural network models have included derivatives with respect to inputs in their loss functions, resulting in so-called double backpropagation for first-order optimization. However, so far no general description of the involved derivatives exists. Here, we cover a wide array of special cases in a very general Hilbert space framework, which allows us to provide optimized backpropagation rules for many real-world scenarios. This includes the reduction of calculations for Frobenius-norm-penalties on Jacobians by roughly a third for locally linear activation functions. Furthermore, we provide a description of the discontinuous loss surface of ReLU networks both in the inputs and the parameters and demonstrate why the discontinuities do not pose a big problem in reality.

연구 동기 및 목표

• 신경망에서 도함수 기반 정규화를 위한 일반적이고 수학적으로 엄밀한 이중 역전파의 기술을 제공하는 것.
• 실세계의 시나리오에서 입력 도함수 페널티를 포함하는 배치 최적화를 위한 역전파 절차를 최적화하여 시간과 메모리 비용을 감소시키는 것.
• 도함수 기반 정규화 하에서 (리 leaky) ReLU 네트워크의 손실 곡면의 구조와 불연속성에 대한 분석을 수행하는 것.
• 왜 기울기의 불연속성에도 불구하고 실질적으로 학습이 안정적으로 유지되는지 설명하는 것, 특히 배치 최적화 하에서의 경우를 중심으로 한다.

제안 방법

• 신경망 레이어의 일반적인 처리를 가능하게 하기 위해 힐버트 공간에서의 프레셰 도함수를 사용하여 이중 역전파를 수립함으로써 좌표에 의존하지 않는 일반적인 접근을 가능하게 한다.
• 선형 연산자 이론을 연속적인 이항형 연산자로 확장하여 완전 연결, 컨볼루션, 국소 연결 레이어를 동일한 방식으로 모델링한다.
• 자코비안 노름 페널티에 대한 최적화된 역전파 규칙을 유도하여 국소 선형 활성화 함수를 가진 네트워크에서 계산 복잡도를 약 1/3 감소시킨다.
• 네트워크 가중치를 고정하고 단일 매개변수를 변화시켜 손실 곡면을 분석함으로써, ReLU 네트워크에서 조각별 애프린형 행동과 점프 불연속성이 드러남을 확인한다.
• 배치 평균을 통해 매끄러운 손실 곡면을 시뮬레이션하여 최적화에 대한 안정화 효과를 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 다양한 도함수 기반 정규화 항목에 대해 이중 역전파를 체계적으로 유도할 수 있는가?
• RQ2 손실 함수에 입력 도함수 페널티를 포함했을 때 이론적이고 계산적인 영향은 무엇인가?
• RQ3 ReLU 네트워크의 손실 곡면에서의 불연속성은 최적화에 어떤 영향을 미치며, 이를 완화할 수 있는가?
• RQ4 왜 도함수 기반 손실 함수에서 기울기가 비연속적임에도 불구하고 배치 최적화는 안정적인가?

주요 결과

• 논문은 자코비안 노름 페널티에 대해 계산 비용을 최대 1/3 감소시키는 최적화된 이중 역전파 규칙을 도출하였다. 이는 국소 선형 활성화 함수를 가진 네트워크에서 성립한다.
• (리 leaky) ReLU 네트워크의 손실 곡면은 입력과 매개변수 모두에서 불연속적이며, ReLU 비선형성의 조각별 선형 행동으로 인해 점프 불연속성이 발생한다.
• 불연속성에도 불구하고 첫 번째 순서 최적화는 배치 평균에 의해 유도되는 '가짜 스무쓰닝 효과' 덕분에 실질적으로 안정적으로 유지된다.
• 노드 수준의 페널티(예: Rnode)에서는 페널티 항의 기울기가 일반적으로 0이지만, 기존의 이중 역전파(예: Rcdb)에서는 최종 레이어의 비영인 기울기로 인해 기울기가 0이 아님을 확인하였다.
• 제안된 힐버트 공간 프레임워크는 연속적인 이항형 연산자에 대한 공통 처리를 통해 완전 연결, 컨볼루션, 국소 연결 레이어를 포함한 다양한 레이어 유형 간의 역전파를 통합한다.