[논문 리뷰] Learning with Differentiable Algorithms

Felix Petersen|arXiv (Cornell University)|2022. 09. 01.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 연속적이고 이산적인 분포의 분류 체계를 통해 분포를 모델링하여 확률적 알고리즘을 학습하기 위한 미분 가능한 프레임워크를 제안한다. 이는 역전파를 통한 엔드 투 엔드 학습을 가능하게 한다. 다양한 분포, 특히 폐형 도함수를 갖는 분포가 복잡한 확률적 모델을 최적화하는 데 사용될 수 있음을 보여주며, 구조적 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Classic algorithms and machine learning systems like neural networks are both abundant in everyday life. While classic computer science algorithms are suitable for precise execution of exactly defined tasks such as finding the shortest path in a large graph, neural networks allow learning from data to predict the most likely answer in more complex tasks such as image classification, which cannot be reduced to an exact algorithm. To get the best of both worlds, this thesis explores combining both concepts leading to more robust, better performing, more interpretable, more computationally efficient, and more data efficient architectures. The thesis formalizes the idea of algorithmic supervision, which allows a neural network to learn from or in conjunction with an algorithm. When integrating an algorithm into a neural architecture, it is important that the algorithm is differentiable such that the architecture can be trained end-to-end and gradients can be propagated back through the algorithm in a meaningful way. To make algorithms differentiable, this thesis proposes a general method for continuously relaxing algorithms by perturbing variables and approximating the expectation value in closed form, i.e., without sampling. In addition, this thesis proposes differentiable algorithms, such as differentiable sorting networks, differentiable renderers, and differentiable logic gate networks. Finally, this thesis presents alternative training strategies for learning with algorithms.

연구 동기 및 목표

• 스토캐스틱 연산을 거쳐 역전파를 지원하는 확률적 알고리즘을 위한 미분 가능한 프레임워크를 개발하기.
• 유한 및 무한 지지역, 대칭 및 비대칭을 포함한 광범위한 확률 분포를 분류하고 통합하여 미분 가능한 계산 그래프로 통합하기.
• 샘플링 및 분포 매개변수를 통한 미분을 통해 구조적 예측 모델을 기반 최적화로 학습 가능하게 하기.
• 확률적 추론을 통한 복잡한 구조적 출력을 학습하는 데 있어 미분 가능한 분포의 효과를 입증하기.

제안 방법

• 확률 분포의 분류 체계를 도입하며, Dirac delta, 균일, 가우시안, 라플라스, 코시, 군필, 지수 분포를 포함하여 지지역과 대칭성에 따라 분류한다.
• 학습 가능한 매개변수로 분포를 매개변수화하고 PDF 및 CDF를 통해 도함수가 해석적으로 계산 가능한 방식으로 미분 가능한 샘플링을 수립한다.
• 정확한(예: Dirac delta) 및 연속적 분포(예: 가우시안, 로지스틱)를 모두 지원하며, 역전파를 위한 폐형 도함수를 제공한다.
• 분포와 연산(예: 컬라션, 변환)을 계산 그래프 내에서 조합함으로써 기울기 흐름을 유지하는 방식으로 미분 가능한 추론을 가능하게 한다.
• 연속적 분포에는 재파rameterization 기법을, 이산적 또는 비미분 가능한 구성 요소에는 스트레이트스루 기울기 기법을 사용한다.
• 딥 러닝 프레임워크와 통합하기 위해 최적화가 확률적 경사 하강법을 통해 가능하도록 미분 가능한 분포 레이어를 노출시킨다.

실험 결과

연구 질문

• RQ1 확률적 알고리즘을 어떻게 엔드 투 엔드로 미분 가능하게 만들 수 있을까? 이는 기반 기반 학습을 지원한다.
• RQ2 어떤 확률 분포 가족이 폐형 도함수를 지원하며, 미분 가능한 프로그래밍에 적합한가?
• RQ3 통합된 분포 분류 체계는 확장 가능하고 조합 가능한 미분 가능한 확률적 모델링을 가능하게 할 수 있는가?
• RQ4 미분 가능한 샘플링은 비미분 가능한 대안에 비해 구조적 예측 작업 성능을 어떻게 향상시키는가?
• RQ5 딥 러닝 아키텍처에서 미분 가능한 분포를 사용할 경우의 계산적 및 통계적 트레이드오프는 무엇인가?

주요 결과

• 이 프레임워크는 연속적 및 이산적 분포의 매개변수를 통한 미분을 통해 스트로케스틱 연산을 거쳐 역전파를 성공적으로 지원한다.
• 가우시안, 라플라스, 로지스틱 분포와 같은 분포는 폐형 도함수를 지원하여 안정적이고 효율적인 최적화를 가능하게 한다.
• 미분 가능한 분포의 사용은 확률적 목표를 직접 최적화할 수 있게 하여 구조적 예측 작업에서 성능 향상을 이룬다.
• 분류 체계는 샘플링 연산을 통한 기울기 흐름을 유지하면서도 복잡한 확률적 모델의 모듈식 조합을 가능하게 한다.
• 프레임워크는 벤치마크 작업에서 경쟁 가능한 성능을 달성하여, 미분 가능한 확률적 추론이 실현 가능하고 효과적임을 입증한다.
• 이 프레임워크는 정확한(예: Dirac delta) 및 연속적 분포를 모두 지원하여 다양한 머신러닝 문제에 적용 가능성을 넓힌다.