[논문 리뷰] Towards making formal methods normal: meeting developers where they are

Alastair Reid, Luke Church외 4명|arXiv (Cornell University)|2020. 10. 30.

Software Testing and Debugging Techniques참고 문헌 28인용 수 12

한 줄 요약

이 논문은 개발자가 기존의 워크플로우, 테스트 관행, 테스트 허니지 같은 기존 자산을 활용함으로써 메인스트림 소프트웨어 개발에 공식 검증을 통합하는 것을 제안한다. 개발자들이 투자한 시간에 대해 즉각적인, 측정 가능한 이득을 얻을 수 있도록, 전체 정확성 증명이 아닌 점진적이고 실용적인 이점에 초점을 맞춘 '주간 비용-편익 비율' 모델을 통해 도입을 촉진하고자 하며, 목표로 삼는 바는 10년 이내로 공식 방법 사용을 두 배수 증가시키는 것이다.

ABSTRACT

Formal verification of software is a bit of a niche activity: it is only applied to the most safety-critical or security-critical software and it is typically only performed by specialized verification engineers. This paper considers whether it would be possible to increase adoption of formal methods by integrating formal methods with developers' existing practices and workflows. We do not believe that widespread adoption will follow from making the prevailing formal methods argument that correctness is more important than engineering teams realize. Instead, our focus is on what we would need to do to enable programmers to make effective use of formal verification tools and techniques. We do this by considering how we might make verification tooling that both serves developers' needs and fits into their existing development lifecycle. We propose a target of two orders of magnitude increase in adoption within a decade driven by ensuring a positive `weekly cost-benefit' ratio for developer time invested.

연구 동기 및 목표

• 현재 개발자의 1% 미만이 사용하고 있는 공식 방법의 낮은 도입률을 해결한다.
• 현재 공식 방법이 안전성에 중요한 시스템에만 국한되어 있는 이유이자, 기존 개발 프로세스에 큰 영향을 주는 높은 노력과 혼란을 해결한다.
• 전체 정확성 증명이 아닌, 개발자 시간 투자에 대한 정당성을 갖는 측정 가능한 단기적 이익으로 초점을 이동시킨다.
• 테스트 및 단위 테스트와 같은 기존 개발 관행과 통합함으로써 더 넓은 도입을 가능하게 한다.
• 공식 검증 도구를 사용하는 데 투자하는 시간이 즉각적이고 관찰 가능한 성과로 보상받을 수 있도록 지속 가능한 '주간 비용-편익 비율'을 확립한다.

제안 방법

• 기존 개발자 자산—특히 테스트 허니지와 단위 테스트—를 재사용하여 공식 검증을 수행함으로써, 이를 사양이나 검증 도구의 입력으로 활용한다.
• 속성 기반 테스트와 공식 검증 간의 유사성을 활용하여 학습 곡선을 낮추고 도구에 대한 익숙함을 높인다.
• 기존 CI/CD 파이프라인과 IDE에 원활하게 통합되는 검증 도구를 설계함으로써 워크플로우 방해를 최소화한다.
• 검증 작업 간의 도구 재사용과 상호운용성을 우선시하여 도구 분열을 방지하고 유지보수 부담을 줄인다.
• 복잡한 코드를 검증할 때 예측 가능성과 성능을 향상시키기 위해 프로파일링 및 검증을 위한 설계 가이드라인을 개발한다.
• 결정 불가능하거나 증명하기 어려운 성질에 대해 결과가 불안정할 경우를 대비해, 유연한 테스트를 다루는 것과 유사하게 여러 검증 도구의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 기존 개발 워크플로우에 근본적인 변화 없이 공식 검증을 어떻게 통합할 수 있는가?
• RQ2 일상적인 개발에서 개발자가 공식 방법에 투자한 시간에 대해 정당성을 갖는 '주간 비용-편익 비율'은 어떻게 구성될 수 있는가?
• RQ3 기존 테스트 자산을 얼마나 잘 공식 사양이나 검증 입력으로 재사용할 수 있는가?
• RQ4 결정 불가능한 성질을 다룰 때도 검증 도구가 일상 개발에서 신뢰할 수 있도록 예측 가능하고 안정적으로 만들 수 있는가?
• RQ5 공식 검증의 인지적 및 기술적 부담을 줄이면서도 소프트웨어 신뢰성을 향상시킬 수 있는 설계 및 도구 사용 관행은 무엇인가?

주요 결과

• 논문은 현재 개발자의 1% 미만이 공식 검증을 사용하고 있다고 추정하며, 이는 더 넓은 도입 기회가 있음을 시사한다.
• 10년 이내로 개발자 수가 100배 증가하는 것—즉, 두 배수 증가하는 것—을 실현 가능하고 영향력 있는 목표로 제안한다.
• 주간 비용-편익 비율은 핵심 지표로 규명되었으며, 개발자가 공식 방법을 도입할 조건은 투자한 시간에 비해 즉각적인 성과가 나타나야 한다.
• 테스트 허니지와 단위 테스트를 공식 검증 도구의 입력으로 재사용하면 도입 장벽을 크게 낮추고 통합 속도를 높일 수 있다.
• 복잡하거나 결정 불가능한 성질에 대해 검증 결과가 불안정한 것은 유연한 테스트 문제와 유사하므로, 프로파일링 및 예측 가능성 지원 기능이 도구에 필요하다.
• 검증을 위한 설계 관행—즉, 검증을 단순화하기 위해 코드를 수정하는 방식—는 도구 성능과 개발자 신뢰도를 향상시킬 수 있으며, 기존 하드웨어 설계 원칙과 유사하다.