[논문 리뷰] Fixed Point Networks: Implicit Depth Models with Jacobian-Free Backprop.

Samy Wu Fung, Howard Heaton외 4명|arXiv (Cornell University)|2021. 03. 23.

Model Reduction and Neural Networks참고 문헌 36인용 수 15

한 줄 요약

이 논문은 네트워크 가중치와 입력 데이터를 통해 유일한 고정점을 수렴하도록 보장하는 새로운 암묵적 깊이 모델인 고정점 네트워크(Fixed Point Networks, FPNs)를 소개한다. 이는 비용이 많이 드는 자코비안 방정식을 해결할 필요 없이, 자코비안을 고려하지 않는 역전파(Jacobian-free backpropagation, JFB) 기법을 제안함으로써, 낮은 계산 비용과 고정된 메모리 사용을 가능하게 하면서도 분류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A growing trend in deep learning replaces fixed depth models by approximations of the limit as network depth approaches infinity. This approach uses a portion of network weights to prescribe behavior by defining a limit condition. This makes network depth implicit, varying based on the provided data and an error tolerance. Moreover, existing implicit models can be implemented and trained with fixed memory costs in exchange for additional computational costs. In particular, backpropagation through implicit depth models requires solving a Jacobian-based equation arising from the implicit function theorem. We propose fixed point networks (FPNs), a simple setup for implicit depth learning that guarantees convergence of forward propagation to a unique limit defined by network weights and input data. Our key contribution is to provide a new Jacobian-free backpropagation (JFB) scheme that circumvents the need to solve Jacobian-based equations while maintaining fixed memory costs. This makes FPNs much cheaper to train and easy to implement. Our numerical examples yield state of the art classification results for implicit depth models and outperform corresponding explicit models.

연구 동기 및 목표

• 역전파 과정에서 복잡한 자코비안 기반 방정식을 해결해야 하는 기존 암묵적 깊이 모델의 계산 비효율성 문제를 해결하기 위해.
• 높은 계산 오버헤드 없이도 고정된 메모리 사용을 유지하는 암묵적 깊이 모델의 훈련 방법을 개발하기 위해.
• 안정적이고 가중치 및 데이터에 의존적인 메커니즘을 통해 전방 전파 과정에서 고유한 고정점으로 수렴함을 보장하기 위해.
• 구현을 단순화하고 훈련 비용을 감소시켜 암묵적 깊이 모델의 실용적 구현을 가능하게 하기 위해.

제안 방법

• FPNs는 전방 전파를 반복 추론의 극한으로 정의하며, 네트워크 가중치와 입력 데이터가 함께 고유한 고정점을 결정한다.
• 수렴성을 보장하기 위해 수축 사상 정리(contraction mapping theorem)를 활용한다.
• 자코비안을 명시적으로 계산하지 않고 고정점 반복에 기반한 재귀적 기울기 갱신을 사용하는 새로운 자코비안을 고려하지 않는 역전파(Jacobian-free backpropagation, JFB) 기법을 도입한다.
• 전체 계산 그래프를 저장하지 않고 최종 고정점과 중간 활성화값만 저장함으로써, JFB 기법은 일정한 메모리 사용을 유지한다.
• 자코비안을 포함한 선형 시스템을 해결하지 않고도 암묵함수정리로부터 유도된 재귀 공식을 통해 역전파를 계산한다.
• 이 프레임워크는 표준 딥러닝 최적화 도구와 호환되며, 기존 훈련 파이프라인에 최소한의 수정만으로도 구현 가능하다.

실험 결과

연구 질문

• RQ1 역전파 과정에서 계산 비용이 많이 드는 자코비안 기반 방정식을 해결하지 않고도 암묵적 깊이 모델을 효율적으로 훈련시킬 수 있는가?
• RQ2 딥 네트워크에서 고정점 반복 기법이 실용적 조건 하에서 고유한 해로 수렴함을 보장할 수 있는가?
• RQ3 자코비안을 고려하지 않는 역전파 방법이 기존 암묵적 모델 대비 훈련 비용을 줄이면서도 고정된 메모리 사용을 유지할 수 있는가?
• RQ4 FPNs의 성능은 표준 벤치마크에서 명시적 깊이 모델과 다른 암묵적 깊이 아키텍처와 비교해 어떻게 되는가?

주요 결과

• FPNs는 암묵적 깊이 모델 중에서 최신 기술 수준의 분류 정확도를 달성하며, 명시적 및 암묵적 기준 모델을 모두 능가한다.
• 제안된 자코비안을 고려하지 않는 역전파(JFB) 기법은 자코비안을 포함한 선형 시스템을 해결할 필요 없이 훈련 비용을 크게 감소시킨다.
• 이 방법은 훈련 전반에 걸쳐 고정된 메모리 사용을 유지하여 대규모 데이터셋에서의 효율적 훈련을 가능하게 한다.
• 약한 조건 하에서도 고유한 고정점으로의 수렴이 보장되어 안정적이고 예측 가능한 전방 전파를 보장한다.
• FPNs의 구현은 단순하며 표준 딥러닝 프레임워크와 호환되어 광범위한 보급을 용이하게 한다.
• 수치 실험을 통해 FPNs가 기존 암묵적 깊이 모델 대비 낮은 계산 오버헤드로 뛰어난 성능을 달성하는 것으로 확인되었다.