[논문 리뷰] On Correctness of Automatic Differentiation for Non-Differentiable Functions

Wonyeol Lee, Hangyeol Yu외 2명|arXiv (Cornell University)|2020. 06. 11.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 딥러닝에서 흔한 비미분 가능 함수에 대해 자동미분(autodiff) 시스템의 형식적 타당성을 입증한다. 이를 위해 PAP(해석적 분할 하에서의 조각별 해석성)라고 불리는 광범위한 함수 클래스에 대해 의도적 도함수(intensional derivatives)를 도입한다. 이 도함수는 항상 존재하며 거의 어디서나 표준 도함수와 일치함을 증명하며, autodiff 시스템이 실제로 이러한 도함수를 계산하고 있음을 보여, 이론적 우려에도 불구하고 널리 사용되는 것이 타당함을 입증한다.

ABSTRACT

Differentiation lies at the core of many machine-learning algorithms, and is well-supported by popular autodiff systems, such as TensorFlow and PyTorch. Originally, these systems have been developed to compute derivatives of differentiable functions, but in practice, they are commonly applied to functions with non-differentiabilities. For instance, neural networks using ReLU define non-differentiable functions in general, but the gradients of losses involving those functions are computed using autodiff systems in practice. This status quo raises a natural question: are autodiff systems correct in any formal sense when they are applied to such non-differentiable functions? In this paper, we provide a positive answer to this question. Using counterexamples, we first point out flaws in often-used informal arguments, such as: non-differentiabilities arising in deep learning do not cause any issues because they form a measure-zero set. We then investigate a class of functions, called PAP functions, that includes nearly all (possibly non-differentiable) functions in deep learning nowadays. For these PAP functions, we propose a new type of derivatives, called intensional derivatives, and prove that these derivatives always exist and coincide with standard derivatives for almost all inputs. We also show that these intensional derivatives are what most autodiff systems compute or try to compute essentially. In this way, we formally establish the correctness of autodiff systems applied to non-differentiable functions.

연구 동기 및 목표

• 비미분 가능 함수, 특히 딥러닝에서 흔한 경우에 자동미분 시스템이 정당한지에 대한 이론적 우려를 해결하기 위해.
• 실제로 자주 사용되는 잘못된 직관적 정당화 방식—예: 비미분 가능성의 원인이 측도가 0인 집합이라는 것—를 도전하고 수정하기 위해.
• 비미분 가능 함수를 허용하면서도 비미분 가능성의 원인이 측도가 0인 집합일 경우에만 허용하는 자동미분 시스템의 형식적 타당성 조건을 정의하기 위해.
• 최근 딥러닝에서 사용되는 함수의 거의 전부를 포함하는 새로운 함수 클래스(PAP 함수)를 도입하고 분석하기 위해.
• PAP 함수에 대해 의도적 도함수를 정의하고, 이 도함수가 거의 어디서나 존재하며 체인 규칙과 같은 핵심 성질을 만족함을 증명하기 위해.

제안 방법

• 해석적 분할 하에서 조각별 해석적인 함수인 PAP 함수의 클래스를 도입하며, 이는 대부분의 딥러닝 함수를 포함한다.
• 비미분 가능 점으로까지 일반화된 새로운 도함수 유형인 의도적 도함수를 정의한다.
• 모든 PAP 함수에 대해 의도적 도함수가 존재하며, 거의 어디서나 표준 도함수와 일치함을 증명한다.
• 비미분 가능 함수에 대해서도 일반화된 체인 규칙이 의도적 도함수로 성립함을 보여준다.
• 기존의 대부분의 자동미분 시스템이 의도적 도함수를 계산하거나 근사함을 보이며, 이는 실용적 타당성의 근거가 된다.
• 측도 이론적 접근과 해석 함수의 성질을 이용해 의도적 도함수의 존재성과 일관성을 확립한다.

실험 결과

연구 질문

• RQ1 ReLU 활성화 함수를 포함한 비미분 가능 함수에 대해 자동미분 시스템이 형식적으로 정당한가?
• RQ2 비미분 가능성 원인이 측도가 0인 집합이라는 일반적인 히ュ리스틱적 정당화가 자동미분의 정당성에 충분한가?
• RQ3 비미분 가능 함수에 대해, 거의 어디서나 표준 도함수와 일致하는 형식적 도함수 개념을 정의할 수 있는가?
• RQ4 비미분 가능 함수일 경우에도 의도적 도함수가 체인 규칙과 같은 기본 미적분 법칙을 만족하는가?
• RQ5 기존 자동미분 시스템이 이 의도적 도함수를 얼마나 잘 계산하거나 근사하는가?

주요 결과

• 모든 PAP 함수에 대해 의도적 도함수가 존재하며, 거의 어디서나 표준 도함수와 일치한다.
• 비미분 가능 함수일 경우에도 의도적 도함수에 대해 체인 규칙이 성립하여 복합 함수의 일致성이 보장된다.
• 기존 자동미분 시스템 대부분이 의도적 도함수를 효과적으로 계산하거나 근사하므로 실용적 타당성이 입증된다.
• PAP 함수의 클래스는 ReLU 및 기타 조각별 해석적 활성화 함수를 포함한 현대 딥러닝에서 사용되는 거의 모든 함수를 포함한다.
• 반례를 통해 일반적인 히ュ리스틱—비미분 가능성 원인이 희귀하고 따라서 해로우지 않다—는 부족하고 잘못된 것으로 드러난다.
• 비미분 가능성 원인이 측도가 0인 집합일 경우에만 허용하는 자동미분 시스템의 형식적 타당성 조건을 이 논문이 수립한다.