[논문 리뷰] Fluid Intelligence Doesn't Matter! Effects of Code Examples on the Usability of Crypto APIs

Kai Mindermann, Stefan Wagner|arXiv (Cornell University)|2020. 04. 08.

Neuroscience, Education and Cognitive Function참고 문헌 6인용 수 3

한 줄 요약

이 연구는 프로그래밍 예제 간 절차적 유사성이 초보 개발자들이 암호화 API를 사용하는 데 미치는 사용성과 보안성에 어떻게 영향을 주는지 조사한다. 76명의 학부생을 대상으로 한 통제된 실험을 통해, 절차적 유사성이 높은 예제가 효과성, 효율성, 만족도를 크게 향상시키고 보안 버그를 줄임을 발견하였다. 반면 유동지능(Gf)은 미미한 영향을 미치며, 이는 더 나은 예제가 개인의 문제 해결 능력 차이를 상쇄시킬 수 있음을 시사한다.

ABSTRACT

Context: Programmers frequently look for the code of previously solved problems that they can adapt for their own problem. Despite existing example code on the web, on sites like Stack Overflow, cryptographic Application Programming Interfaces (APIs) are co monly misused. There is little known about what makes examples helpful for developers in using crypto APIs. Analogical problem solving is a psychological theory that investigates how people use known solutions to solve new problems. There is evidence that the capacity to reason and solve novel problems a.k.a Fluid Intelligence (Gf ) and structurally and procedurally similar solutions support problem solving. Aim: Our goal is to understand whether similarity and Gf also have an effect in the context of using cryptographic APIs with the help of code examples. Method: We conducted a controlled experiment with 76 student participants developing with or without procedurally similar examples, one of two Java crypto libraries and measured the Gf of the participants as well as the effect on usability (effectiveness, efficiency, satisfaction) and security bugs. Results: We observed a strong effect of code examples with a high procedural similarity on all dependent variables. Fluid intelligence Gf had no effect. It also made no difference which library the participants used. Conclusions: Example code must be more highly similar to a concrete solution, not very abstract and generic to have a positive effect in a development task.

연구 동기 및 목표

• 암호화 API를 사용할 때 코드 예제 간 절차적 유사성이 사용성과 보안성에 기여하는지 조사하기 위해.
• 예제의 도움을 받는 암호화 API 작업 수행 시, 유동지능(Gf)이 어떤 역할을 하는지 평가하기 위해.
• JDK와 Google Tink라는 두 암호화 라이브러리 간의 사용성과 보안성 결과를 비교하기 위해.
• 실제 웹사이트(예: Stack Overflow)에서 찾은 예제가 높은 유사성 예제를 대체하여 오류를 줄이고 성능을 향상시키는 데 충분한지 평가하기 위해.

제안 방법

• 초보 개발자로 구성된 76명의 학부생을 대상으로 통제된 실험을 수행하였다.
• 암호화 라이브러리(JDK 대 Tink)와 예제 유형(CryptoExamples 대 웹 검색 예제)이라는 두 개의 독립 변수를 조작하였다.
• 최종 구현물의 효과성, 효율성, 만족도(SUS를 통해 측정), 정적 보안 버그를 측정하였다.
• 유동지능(Gf)은 Bochumer Matritzentest(BOMAT) 고급 단축형을 사용하여 평가하였다.
• 회귀 분 析를 통해 Gf와 예제 유사성의 영향을 결과에서 분리하였다.
• 통제군에서 높은 유사성 예제가 사용되지 않도록 웹 검색 예제를 분류하고 비교하였다.

실험 결과

연구 질문

• RQ1 절차적 유사성이 높은 코드 예제를 제공할 경우, 암호화 API 사용 시 효과성, 효율성, 만족도가 향상되는가?
• RQ2 유동지능(Gf)은 예제의 도움을 받는 암호화 API 사용 성공에 어느 정도 영향을 미치는가?
• RQ3 암호화 라이브러리 선택(JDK 대 Tink)이 높은 유사성 예제 유무에 따라 사용성과 보안성 결과에 영향을 미치는가?
• RQ4 웹 검색 예제는 높은 절차적 유사성 예제와 동일한 효과를 내는 데 충분한가, 아니면 영향력에서 유의미한 차이가 나는가?

주요 결과

• 절차적 유사성이 높은 예제(CryptoExamples)를 사용한 참가자들은 평균 효과성 0.841을 기록했고, 예제 없이 작업한 그룹은 0.376이었다.
• 예제 사용자는 효율성이 269% 향상되어 시간당 평균 1.287건의 작업을 완료한 반면, 통제군은 0.298건을 처리하였다.
• 만족도 점수(SUS)는 예제 사용자 그룹(STM = 61.6)이 예제 미사용자 그룹(SJO = 39.7)보다 유의미하게 높았다.
• 보안 버그 수는 통제군 평균 3.28건에서 예제 그룹은 0.33건으로 감소했으며, 가장 흔한 문제는 '정합성 없이 암호화'와 'ECB 모드'였다.
• 유동지능(Gf)은 미미한 영향을 미쳤으며, 회귀 계수(β)가 거의 0에 가까워 결과에 유의미한 영향을 주지 않았다.
• JDK와 Tink 라이브러리 간 효과성, 효율성, 보안성 결과에 유의미한 차이가 없었으며, 이는 라이브러리 선택이 결정적 요소가 아니라는 것을 시사한다.