[논문 리뷰] Developing Bug-Free Machine Learning Systems With Formal Mathematics

Daniel Selsam, Percy Liang외 1명|arXiv (Cornell University)|2017. 06. 26.

Computability, Logic, AI Algorithms참고 문헌 11인용 수 28

한 줄 요약

이 논문은 형식 수학과 상호작용 증명 보조도구를 사용하여 증명 가능하게 올바른 기계학습 시스템을 구축하는 방법론을 제안한다. 시스템 사양을 수학적 정리로 표현하고, 이를 증명 보조도구 내에서 증명함으로써 검증 과정에서 구현 오류가 체계적으로 드러나며, 이로 인해 검증된, 버그가 없는 시스템이 만들어진다. 이는 Certigrad라는 기울기 계산 시스템을 통해 입증되었으며, 이는 텐서플로우와 동일한 학습 성능를 보이며 형식적으로 검증된 편향 없는 기울기를 제공한다.

ABSTRACT

Noisy data, non-convex objectives, model misspecification, and numerical instability can all cause undesired behaviors in machine learning systems. As a result, detecting actual implementation errors can be extremely difficult. We demonstrate a methodology in which developers use an interactive proof assistant to both implement their system and to state a formal theorem defining what it means for their system to be correct. The process of proving this theorem interactively in the proof assistant exposes all implementation errors since any error in the program would cause the proof to fail. As a case study, we implement a new system, Certigrad, for optimizing over stochastic computation graphs, and we generate a formal (i.e. machine-checkable) proof that the gradients sampled by the system are unbiased estimates of the true mathematical gradients. We train a variational autoencoder using Certigrad and find the performance comparable to training the same model in TensorFlow.

연구 동기 및 목표

• 기계학습 시스템의 구현 오류를 탐지하는 데 어려움이 있는데, 이는 종종 노이즈, 비볼록성 또는 수치적 불안정성에 의해 가려지기 때문이다.
• 실험적 테스트에 대한 의존도를 줄이기 위해, 상호작용 증명 보조도구를 사용한 형식적 검증으로 대체한다.
• 백프로파게이션을 포함한 계산 그래프를 거쳐 발생하는 복잡한 확률적 기계학습 시스템에 대해 형식적 검증이 실용적으로 적용될 수 있음을 보여준다.
• 형식적으로 검증된 시스템이 텐서플로우와 같은 산업용 시스템과 유사한 성능을 달성하면서도 정확성을 보장할 수 있음을 보여준다.
• 개발자가 모든 시스템 상호작용을 수작업으로 검증할 필요 없이도 높은 수준의 정확성에 대한 확신을 가질 수 있도록 한다.

제안 방법

• 상호작용 증명 보조도구를 사용하여 시스템 정확성을 수학적 정리로 형식화하고, 정리 증명 언어로 표현한다.
• 동일한 증명 보조도구 환경 내의 프로그래밍 언어로 기계학습 시스템을 구현한다.
• 구현이 명시된 수학적 사양을 충족함을 증명하는 형식적 증명을 구성하며, 증명 의무 사항이 구현 오류를 드러낸다.
• 특정 모델(예: AEVB)이 정확성에 필요한 전제 조건을 충족함을 자동으로 검증하기 위해 히우리스틱 전략 프로그램을 적용한다.
• 이dealized 실수 산술을 부동소수점 산술과 최적화된 텐서 라이브러리(예: Eigen)로 대체하며, 수치 오차가 알고리즘 버그와 개념적으로 구분됨을 인정한다.
• 표본 기반 기울기 계산의 정확성을 증명함으로써 확률적 계산 그래프에서 기울기 계산의 정확성을 검증한다. 이는 샘플링된 기울기가 진정한 수학적 기울기의 편향 없는 추정치임을 증명한다.

실험 결과

연구 질문

• RQ1 증명 보조도구를 통한 형식적 수학적 검증이 기계학습 시스템의 구현 오류를 체계적으로 탐지하고 제거하는 데 사용될 수 있는가?
• RQ2 형식적 검증이 확률적, 비볼록적, 수치적으로 불안정한 기계학습 시스템에 얼마나 적용될 수 있는가?
• RQ3 형식적으로 검증된 기계학습 시스템이 텐서플로우와 같은 산업용 시스템과 유사한 성능을 달성할 수 있는가?
• RQ4 형식적 검증을 사용할 경우 시스템 정확성에 대한 신뢰도가 향상되고 인지 부담이 어떻게 감소하는가?
• RQ5 기계학습 개발에 형식적 검증을 통합할 때의 실용적 트레이드오프와 점진적 도입 전략은 무엇인가?

주요 결과

• Certigrad 시스템은 편향 없는 기울기를 계산한다는 것이 형식적으로 증명되었으며, 모든 구현 오류가 증명 과정에서 드러나 수정되었다.
• 형식적 증명은 기계로 검증 가능했으며, 증명 논리의 정확성을 인간이 검증할 필요 없이도 보장할 수 있었다.
• Certigrad는 MNIST에 대한 AEVB 모델에서 텐서플로우와 유사한 학습 성능를 보였으며, 에포크당 학습 시간이 7퍼센트만 더 길었다.
• 이 방법론은 버그의 조기 탐지를 가능하게 했으며, 모든 오류가 최종 증명이 완료되기 이전에 해결되었다.
• 이 접근법은 책임을 인간에서 증명 보조도구로 옮김으로써 개발자의 인지 부담을 감소시켰다.
• 부분적인 형식적 검증(예: Eigen과 같은 외부 라이브러리의 공리화)조차도 신뢰도 향상과 오류 탐지에 상당한 이점을 제공했다.