[논문 리뷰] Overparameterization: A Connection Between Software 1.0 and Software 2.0

Atkinson, Eric, Yang, Cambridge외 1명|arXiv (Cornell University)|2018. 05. 04.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 6

한 줄 요약

Shuffle는 확률 이론과 통계적 종속성을 강제하여 개발자가 정확하고 효율적인 확률적 추론 알고리즘을 수동으로 작성할 수 있도록 돕는 도메인 특화 프로그래밍 언어이다. 유형 안정적인 분포 연산, 증명 규칙을 통한 형식적 검증, 성능 최적화를 포함한 자동 코드 생성을 통합함으로써 Shuffle는 증명 가능하게 정확하고 기존 시스템인 Venture보다 최대 3.1배 빠른 추론 절차를 생성한다.

ABSTRACT

A new ecosystem of machine-learning driven applications, titled Software 2.0, has arisen that integrates neural networks into a variety of computational tasks. Such applications include image recognition, natural language processing, and other traditional machine learning tasks. However, these techniques have also grown to include other structured domains, such as program analysis and program optimization for which novel, domain-specific insights mate with model design. In this paper, we connect the world of Software 2.0 with that of traditional software - Software 1.0 - through overparameterization: a program may provide more computational capacity and precision than is necessary for the task at hand. In Software 2.0, overparamterization - when a machine learning model has more parameters than datapoints in the dataset - arises as a contemporary understanding of the ability for modern, gradient-based learning methods to learn models over complex datasets with high-accuracy. Specifically, the more parameters a model has, the better it learns. In Software 1.0, the results of the approximate computing community show that traditional software is also overparameterized in that software often simply computes results that are more precise than is required by the user. Approximate computing exploits this overparameterization to improve performance by eliminating unnecessary, excess computation. For example, one - of many techniques - is to reduce the precision of arithmetic in the application. In this paper, we argue that the gap between available precision and that that is required for either Software 1.0 or Software 2.0 is a fundamental aspect of software design that illustrates the balance between software designed for general-purposes and domain-adapted solutions. A general-purpose solution is easier to develop and maintain versus a domain-adapted solution. However, that ease comes at the expense of performance. We show that the approximate computing community and the machine learning community have developed overlapping techniques to improve performance by reducing overparameterization. We also show that because of these shared techniques, questions, concerns, and answers on how to construct software can translate from one software variant to the other.

연구 동기 및 목표

• 수동으로 작성된 확률적 추론 알고리즘에 대한 공식적인 정확성 보장을 부족한 문제를 해결하기 위해.
• 확률 이론과 통계적 종속성을 강제하는 프로그래밍 모델을 제공하기 위해.
• 고수준의 확률적 추상화에서 최적화된 고성능 추론 코드를 생성하기 위해.
• 검증되고 조합 가능한 추상화를 통해 수동 추론 구현(Software 1.0)과 자동 합성(Software 2.0) 사이의 격차를 메우기 위해.

제안 방법

• Shuffle는 조건부 종속성과 분포를 추적하는 타입 시스템을 도입하여 확률 공리 준수를 보장한다.
• 분포 연산과 조건부 독립성에 대한 검증을 위해 증명 규칙을 강제한다.
• 일급 분포 원시 연산과 통합 가능성이 있는 연산(예: 근사화 및 조건부 밀도 계산)을 지원한다.
• 최적화된 저수준 구현을 생성하기 위해 정적 분석과 코드 변환을 수행한다.
• 성능 향상을 위해 증분 업데이트와 루프 최적화를 지원한다.
• 고수준 추론 절차를 최소 오버헤드를 가진 단일 스레드 C++ 코드로 컴파일한다.

실험 결과

연구 질문

• RQ1 형식적 타입과 증명 규칙을 사용하여 수동으로 작성된 확률적 추론 알고리즘의 정확성을 강제할 수 있는 프로그래밍 언어는 가능한가?
• RQ2 정확성 손실 없이 고수준의 확률적 추상화를 효율적인 저수준 코드로 컴파일할 수 있는 방법은 무엇인가?
• RQ3 검증되고 조합 가능한 추상화는 기존 시스템에 비해 성능과 정확성 측면에서 어느 정도 뛰어나게 되는가?
• RQ4 모델 명세와 추론 구현 간의 분리를 공식화하여 정확성과 최적화를 동시에 지원할 수 있는가?

주요 결과

• Shuffle가 생성한 추론 절차는 Venture의 구현보다 최대 3.1배 빠르며, 고수준 추상화로 인한 성능 저하 없이도 성능이 유지된다.
• Shuffle의 증분 최적화는 최적화되지 않은 버전 대비 최소 30배 빠른 성능 향상을 보이며, 코드 생성 전략의 중요성을 입증한다.
• 시스템은 가우시안 혼합 모델(GMM), 은닉 딜레아트 할로케이션(LDA), 동적 베이지안 네트워크(DMM)와 같은 표준 모델에 대한 추론 알고리즘을 성공적으로 구현하고 검증한다.
• Shuffle의 타입 시스템은 조건부 독립성과 분포 조합의 잘못된 사용을 방지하여, 생성된 모든 코드가 확률 이론을 준수하도록 보장한다.
• 검증되고 조합 가능한 원시 연산을 통해 콜랩스드 지브스 샘플링과 가능성 가중치 방법을 지원하여 효율적인 추론을 가능하게 한다.
• 성능 평가 결과 Shuffle의 추상화에서 측정 가능한 오버헤드가 없음을 확인하여, 정확성과 효율성이 상호 배타적이지 않음을 확인한다.