[논문 리뷰] Nonsmooth Implicit Differentiation for Machine Learning and Optimization

Jérôme Bolte, Tam Le외 2명|Toulouse 1 Capitole Publications (Université Toulouse I Capitole)|2021. 06. 08.

Mathematical Biology Tumor Growth참고 문헌 46인용 수 16

한 줄 요약

이 논문은 보존 미분법과 클라크 야코비안을 사용하여 비미분 가능 성분을 가진 머신러닝 모델에서 공식적인 부분미분을 가능하게 하는 비미분 은닉 함수 정리(implicit function theorem)를 수립한다. 이는 딥 인밸런스 네트워크나 하이퍼파rameter 튜닝 등에서 알고리즘 미분의 광범위한 성공을 이론적으로 정당화하며, 미세한 현실적인 가정 하에 수렴 보장을 제공한다.

ABSTRACT

In view of training increasingly complex learning architectures, we establish a nonsmooth implicit function theorem with an operational calculus. Our result applies to most practical problems (i.e., definable problems) provided that a nonsmooth form of the classical invertibility condition is fulfilled. This approach allows for formal subdifferentiation: for instance, replacing derivatives by Clarke Jacobians in the usual differentiation formulas is fully justified for a wide class of nonsmooth problems. Moreover this calculus is entirely compatible with algorithmic differentiation (e.g., backpropagation). We provide several applications such as training deep equilibrium networks, training neural nets with conic optimization layers, or hyperparameter-tuning for nonsmooth Lasso-type models. To show the sharpness of our assumptions, we present numerical experiments showcasing the extremely pathological gradient dynamics one can encounter when applying implicit algorithmic differentiation without any hypothesis.

연구 동기 및 목표

• 비미분 가능 머신러닝에서 알고리즘 미분의 경험적 성공과 이론적 정당성 부족 사이의 격차를 메우기 위해.
• 전통적인 역함수 또는 복합 규칙가 실패하는 비미분 가능 환경에서 은닉 미분에 대한 수학적으로 엄밀한 기반을 제공하기 위해.
• 딥 인밸런스 네트워크나 원뿔 최적화 계층과 같은 복잡한 모델에서 클라크 야코비안을 사용한 공식적인 부분미분을 가능하게 하기 위해.
• 넓은 범위의 비미분 가능 머신러닝 문제에서 스위치 최적화 알고리즘의 수렴 보장을 확립하기 위해.
• 기본적인 백프로파게이션 도구(예: JAX)가 고전적 미분법이 실패할 때에도 보존 미분법과 일관되게 작동함을 보여주기 위해.

제안 방법

• 정의 가능하고 비미분 가능한 문제로 일반화된 비미분 보존 은닉 함수 정리(implicit function theorem)를 도입한다.
• 클라크 부분미분의 일반화로서 보존 야코비안을 사용하여 행렬 곱셈에서 성질을 유지한다.
• 식 $ J_F(z(x)) J_z(x) = J_h(x) $ 를 통해 은닉 미분을 공식화하며, 여기서 $ J_F $ 와 $ J_h $ 는 보존 야코비안이다.
• 해를 비미분 가능한 연산자의 고정점으로 간주하여, 고정점 문제(예: 딥 인밸런스 네트워크)에 이 프레임워크를 적용한다.
• 원뿔 최적화 계층을 신경망에 통합하기 위해, 그 은닉 해를 사영 연산자와 보존 미분법으로 모델링한다.
• 수치 실험을 통해 구조적 가정 없이 단순한 은닉 미분을 적용할 경우 이상적인 기울기 동역학이 발생함을 검증한다.

실험 결과

연구 질문

• RQ1 비미분 가능 머신러닝 모델에서 알고리즘 미분의 경험적 성공을 엄밀한 수학 이론이 정당화할 수 있는가?
• RQ2 클라크 야코비안을 사용한 공식적인 부분미분이 비미분 설정에서 은닉 함수에 대해 언제 유효한가?
• RQ3 비미분 가능 점과 오류 유도 기울기들이 존재하는 상황에서도 표준 백프로파게이션 도구가 왜 실무에서 안정적으로 작동하는가?
• RQ4 보존 미분법을 사용해 비미분 가능 딥 러닝 아키텍처에서 스위치 최적화의 수렴 보장을 확립할 수 있는가?
• RQ5 클래식 은닉 함수 정리가 ReLU 네트워크나 라소 유형 모델과 같은 비미분 문제에 적용될 때의 한계는 무엇인가?

주요 결과

• 제안된 보존 은닉 함수 정리는 고전적 역함수 또는 복합 규칙가 실패하는 경우에도 비미분 설정에서 은닉 미분에 대한 수학적으로 타당한 기반을 제공한다.
• 이 프레임워크는 JAX와 같은 백프로파게이션 도구가 비미분 모델에서 보존 야코비안을 계산함을 보여주며, 이는 이론과 일관됨을 정당화한다.
• 수치 실험을 통해 구조적 가정 없이 단순한 은닉 미분을 적용할 경우 혼란스럽거나 불안정한 기울기 동역학이 발생함을 입증하여, 제안된 조건의 필수성을 강조한다.
• 이 방법은 단계 크기가 점점 줄어드는 미니배치 스위치 최적화 알고리즘의 수렴을 보장하며, 넓은 범위의 신경망과 라소 유형 모델의 하이퍼파ram터 선택에 적용된다.
• 딥 인밸런스 네트워크와 원뿔 최적화 계층에의 응용에서, 솔루션이 유일하지 않거나 불연속일지라도 프레임워크가 공식적인 부분미분을 지원하고 엔드 투 엔드 훈련을 가능하게 함을 보여준다.
• 이론은 알고리즘 미분이 실무에서 작동하는 이유를 설명한다: 실제로 보존 야코비안을 암묵적으로 계산하며, 이는 비미분 맥락에서 복합화 및 역함수 연산에서 필수적인 도함수 성질을 유지한다.