[논문 리뷰] Using Cognitive Dimensions Questionnaire to Evaluate the Usability of Security APIs

Chamila Wijayarathna, Nalin Asanka Gamagedara Arachchilage외 2명|arXiv (Cornell University)|2017. 01. 01.

Software Engineering Research인용 수 1

한 줄 요약

이 연구는 보안 API의 사용성 문제를 식별하는 데 있어 인지 차원 질문지(원래 클락(2004) 버전과 보안에 특화된 개선 버전)의 효과성을 평가한다. 개선된 질문지는 참가자당 평균 11.6개의 사용성 문제를 드러내었고, 관찰만으로는 놓친 고위 수준의 통찰을 제공하여 보안 API 설계에서 인지적 사용성 문제를 탐지하는 데의 가치를 입증한다.

ABSTRACT

Usability issues that exist in security APIs cause programmers to embed those security APIs incorrectly to the applications they develop. This results in introduction of security vulnerabilities to those applications. One of the main reasons for security APIs to be not usable is currently there is no proper method by which the usability issues of security APIs can be identified. We conducted a study to assess the effectiveness of the cognitive dimensions questionnaire based usability evaluation methodology in evaluating the usability of security APIs. We used a cognitive dimensions based generic questionnaire to collect feedback from programmers who participated in the study. Results revealed interesting facts about the prevailing usability issues in four commonly used security APIs and the capability of the methodology to identify those issues.

연구 동기 및 목표

• 보안 API의 사용성 평가에 인지 차원 질문지의 적용 가능성을 평가하기 위해.
• 클락(2004)의 원본 질문지와 보안 API에 맞춤형으로 개선된 버전 간의 사용성 문제 식별 효과성을 비교하기 위해.
• 프로그래머 참가자들을 대상으로 네 가지 널리 사용되는 보안 API에서 사용성 문제를 실증적으로 식별하기 위해.
• 보안 API 개발자가 배포 이전에 사용성 결함을 탐지하고 수정할 수 있는 체계적인 방법론을 제공하기 위해.

제안 방법

• 보안 API 네 가지(보운트카이스트, 재시프트, 아파치 쇼, 자바 암호화 아키텍처(JCA))를 대상으로 7명의 프로그래머 참가자와 함께 실증 연구를 수행하였다.
• 참가자들은 대상 보안 API를 사용하여 코드 읽기, 작성, 디버깅 작업을 수행하였다.
• 사용성 피드백을 수집하기 위해 두 가지 인지 차원 질문지를 활용: 클락(2004)의 원본 12차원 프레임워크와 보안에 특화된 15차원 개선 버전.
• 사용자 작업 성과 및 코드 자료를 포함한 관찰 데이터와 질문지 응답을 분석하여 사용성 문제를 식별하였다.
• 관찰과 질문지 응답을 통해 발견된 문제를 비교하기 위해 교차 분석을 적용하였다.
• 신뢰도 향상을 위해 분석가 삼중화를 적용하였지만, 현재 분석은 한 명의 연구자에 의해 수행되었다.

실험 결과

연구 질문

• RQ1 인지 차원 질문지 방법이 보안 API의 사용성 문제를 얼마나 효과적으로 식별하는가?
• RQ2 원본 클락(2004) 질문지와 보안에 특화된 개선 버전 간의 사용성 문제 식별 효과성은 어떻게 비교되는가?
• RQ3 관찰과 코드 분석으로는 놓친, 질문지를 통해 유일하게 드러나는 사용성 문제의 유형은 무엇인가?
• RQ4 질문지 응답이 작업 성과에서 직접적으로 관찰되지 않는 사용성 문제에 대해 어떤 고위 수준의 통찰을 제공하는가?

주요 결과

• 질문지 방법은 평균적으로 전체 식별된 사용성 문제의 74%를 포착하였다 (표준편차 = 17.6%), 이는 피드백 수집 효율성이 높음을 시사한다.
• 관찰과 코드 분석로 식별된 사용성 문제 중 단 25.8%만 질문지로도 동일하게 포착되었으며, 이는 두 방법 간의 겹침이 제한적임을 나타낸다.
• 개선된 질문지는 참가자당 평균 11.6개의 사용성 문제를 드러내었고 (표준편차 = 4.6), 원본 질문지의 참가자당 평균 8.0개 (표준편차 = 3.7)보다 유의미하게 더 많은 문제를 발견하였다.
• 질문지는 작업 성과나 코드 분석으로는 관찰되지 않는 8.8개의 문제(표준편차 = 3.8)를 포착하였으며, 특히 점진적 평가, 조기 결정, 검증 가능성 등의 인지 차원에서 두드러졌다.
• 질문지는 기능 매개변수의 모호함(예: Scrypt.generate())과 같은 문제에 대해 고위 수준의 통찰을 제공하였으며, 정확한 문제 제기가 명시되지 않은 경우에도 이를 반영하였다.
• 개선된 질문지에 보안에 특화된 차원이 포함되면서, 보안 지식의 사전 요구 조건 명확성 부족, 오용 방지 어려움 등의 심각한 사용성 결함를 더 잘 탐지할 수 있었다.