[논문 리뷰] Zur Benutzbarkeit und Verwendung von API-Dokumentationen

Rolf Huesmann, Alexander Zeier외 2명|arXiv (Cornell University)|2020. 01. 01.

Information and Cyber Security인용 수 1

한 줄 요약

이 논문은 암호화 API를 위한 사용자 중심의 API 문서화 시스템을 제안하며, 이전 연구에서 도출된 9개의 핵심 요구사항을 프로토타입으로 구현하고 22명의 개발자 대상 사용자 연구를 통해 평가하였다. 연구 결과, '빠른 API 사용' 요구사항이 가장 영향력이 크며, 다른 다섯 가지 요구사항을 포함하는 것으로 나타났고, 고전적 참조 및 주석 기능은 낮은 사용도를 보이며 즉각적인 가치가 제한됨을 시사하였다.

ABSTRACT

A good documentation is essential for a good usability of (security) APIs, i.e. especially for the correct use of the APIs. Requirements for good documentation of APIs have been described in several papers, but there is no technical implementation (hereinafter referred to as a documentation system) that implements these requirements. The requirements can be divided into requirements for the documentation system and requirements for the documentation content. Out of 13 identified requirements for a documentation system itself, 9 were implemented in a prototype and evaluated in a user study with 22 test persons using a cryptographic API. It turned out that the implementation of the requirement 'Enable quick use of the API' depends on the one hand on the quality of the content entered, but on the other hand also includes 5 other requirements or their implementation. The two other implemented requirements ('classic reference' and 'question and answer function') were hardly or not at all used by the test persons. Their usefulness and relevance should be investigated in a long-term study.

연구 동기 및 목표

• 보안 취약성을 유발하는 사용자 친화적인 암호화 API 문서화의 심각한 격차를 보완하기 위해.
• 이전 연구를 바탕으로 API 문서화 시스템을 위한 핵심 사용성 요구사항을 특정하고 구현하기 위해.
• 소프트웨어 개발자 대상 통제된 사용자 연구를 통해 이러한 요구사항의 실용적 효과를 평가하기 위해.
• 코드 주석 및 고전적 참조와 같은 특정 문서화 기능의 실제 프로그래밍 작업에서의 실용성 평가하기 위해.

제안 방법

• 개발자 사용성에 관한 이전 연구에서 도출된 13개의 사용성 요구사항을 식별하기 위해 문헌 고찰을 수행하였다.
• 그 중 9개의 요구사항을 선택하여 암호화 API를 위한 프로토타입 문서화 시스템에 구현하였다.
• eUCRITE 및 Tink API를 사용하여 암호화 프로그래밍 과제를 해결하는 데 목적이 있는 통제된 사용자 연구를 설계하였다.
• 화면 녹화, 생각을 말하는 방법, 구조화된 설문지를 통해 데이터를 수집하여 문서화의 사용성 평가를 수행하였다.
• 표준화된 설문지(예: Acar 등이 개발한 것의 변형)를 사용하여 인지된 사용성, 과제 완료도, 오류 복구 능력을 측정하였다.
• 정성적 피드백과 정량적 평가(예: 1–6점 척도)를 분석하여 기능의 효과성과 전체 문서화 품질을 평가하였다.

실험 결과

연구 질문

• RQ1 ‘빠른 API 사용’ 요구사항을 구현할 경우, 개발자의 과제 완료도와 인지된 사용성은 어느 정도 향상되는가?
• RQ2 코드 예제, 주석, 고전적 참조와 같은 다양한 문서화 기능은 개발자의 참여도와 과제 성과에 어떤 영향을 미치는가?
• RQ3 암호화 API 사용 중 오류를 줄이고 이해도를 향상시키는 데 가장 효과적인 API 문서화 사용성 요구사항은 무엇인가?
• RQ4 개발자들은 실제 프로그래밍 과제에서 주석 시스템 및 고전적 참조 기능의 유용성을 어떻게 평가하는가?
• RQ5 문서화 품질과 암호화 연산의 정확한 구현 간의 관계는 어떠한가?

주요 결과

• ‘빠른 API 사용’ 요구사항이 가장 영향력이 크며, 다른 다섯 가지 요구사항을 포함하는 것으로 나타나, 효과적인 문서화에서의 기초적 역할을 하는 것으로 나타났다.
• ‘실험’ 또는 ‘실시간 코드’ 기능은 인지된 사용성을 크게 향상시키며, 특히 고급 콘텐츠와 결합되었을 때 과제 성공의 핵심 요소로 작용하였다.
• 고전적 참조 및 주석 기능은 거의 사용되지 않아, 단기 과제 맥락에서는 즉각적인 가치가 제한됨을 시사하였다.
• 참가자들은 eUCRITE API 문서화를 Tink 문서화보다 더 높게 평가하였으며(평균 점수 4.2/6), 프로토타입의 사용성 향상이 확인되었다.
• 오류 메시지는 의미 있고 루트 원인과 직접 연결된 경우에만 유용하게 인식되었으며, 이는 디버깅 효율성을 향상시켰다.
• 참가자들은 명확하고 잘 정리된 코드 예제와 개념적 설명이 인지 부하를 줄이고 오류를 방지하는 데 가장 가치 있는 요소로 평가하였다.