[논문 리뷰] Dynamic Witnesses for Static Type Errors.

Eric L. Seidel, Ranjit Jhala외 1명|arXiv (Cornell University)|2016. 06. 24.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 기능적 프로그래밍 언어에서 정적 타입 오류를 설명하기 위한 동적 접근법을 제안한다. 자동으로 증거 입력을 생성하여 프로그램이 잘못된 타입임을 입증한다. 기호 실행을 사용하여 일반화된 반례와 감소 그래프를 생성하고, 이를 통해 타입 오류를 시각화한다. 학생 프로그램에서 88%의 커버리지를 달성했으며, 기존 오류 메시지에 비해 학생들의 이해도가 크게 향상되었다.

ABSTRACT

Static type errors are a common stumbling block for newcomers to typed functional languages. We present a dynamic approach to explaining type errors by generating counterexample witness inputs that illustrate how an ill-typed program goes wrong. First, given an ill-typed function, we symbolically execute the body to dynamically synthesize witness values that can make the program go wrong. We prove that our procedure synthesizes general witnesses in that if a witness is found, then for all inhabited input types, there exist values that can make the function go wrong. Second, we show how to extend the above procedure to produce a reduction graph that can be used to interactively visualize and debug witness executions. Third, we evaluate the coverage of our approach on two data sets comprising over 4,500 ill-typed student programs. Our technique is able to generate witnesses for 88% of the programs, and our reduction graph yields small counterexamples for 81% of the witnesses. Finally, we evaluate the utility of our witnesses in helping students understand and fix type errors, and find that students presented with our witnesses consistently show a greater understanding of type errors than those presented with a standard error message.

연구 동기 및 목표

• 초보자들이 기능적 프로그래밍 언어에서 정적 타입 오류를 이해하는 데 어려움을 겪는 문제를 해결하기 위해.
• 기존 오류 메시지에 그치지 않고, 잘못된 타입의 프로그램이 실패하는 이유를 동적이고 상호작용적으로 설명하는 방법을 개발하기 위해.
• 실제로 타입 오류가 어떻게 나타나는지 보여주는 일반화 가능한 증거 입력을 생성하기 위해.
• 이러한 증거가 타입 시스템에 대한 학생들의 이해도 향상에 얼마나 효과적인지 평가하기 위해.

제안 방법

• 기호 실행을 사용하여 잘못된 타입의 함수에서 타입 오류를 드러내는 동적 증거 값을 합성한다.
• 증거가 생성된 경우, 모든 비어 있지 않은 입력 타입에 대해 유효함을 보장함으로써 일반화 가능성을 확보한다.
• 감소 그래프를 구성하여 증거 프로그램의 실행을 단계별로 시각화함으로써 상호작용식 디버깅을 가능하게 한다.
• 기호 실행 중 잘못된 타입의 표현식의 구조를 분석하여 복잡한 타입 오류를 다루기 위해 방법을 확장한다.
• 4,500개 이상의 학생 프로그램을 대상으로 시스템을 평가하여 증거 커버리지와 반례의 품질을 점검한다.

실험 결과

연구 질문

• RQ1 표준 컴파일러 오류 메시지에 비해 동적 증거 생성이 학생들의 정적 타입 오류 이해도를 향상시키는가?
• RQ2 자동으로 생성된 증거를 사용하여 얼마나 많은 잘못된 타입의 학생 프로그램을 진단할 수 있는가?
• RQ3 생성된 증거가 작은, 이해하기 쉬운 반례를 얼마나 효과적으로 생성하는가?
• RQ4 감소 그래프가 사용자가 타입 오류의 근본 원인을 추적하고 디버깅하는 데 도움이 되는가?

주요 결과

• 평가 데이터셋에 포함된 4,500개 이상의 잘못된 타입의 학생 프로그램 중 88%에 대해 증거가 성공적으로 생성되었다.
• 생성된 증거의 81%에서 감소 그래프가 작은, 이해하기 쉬운 반례를 생성하여 오류를 명확히 보여주었다.
• 동적 증거를 제공받은 학생들은 표준 오류 메시지를 받은 학생들보다 타입 오류에 대한 이해도가 뚜렷이 높았다.
• 증거 생성 과정은 일반적이며, 발견된 모든 증거가 모든 비어 있지 않은 입력 타입에서 타입 오류를 드러내는 것을 보장한다.