[論文レビュー] Using Cognitive Dimensions Questionnaire to Evaluate the Usability of Security APIs

Chamila Wijayarathna, Nalin Asanka Gamagedara Arachchilage+2 more|arXiv (Cornell University)|Jan 1, 2017

Software Engineering Research被引用数 1

ひとこと要約

本研究では、認知次元の質問票（元のClarke (2004)版および強化されたセキュリティ特化型バージョン）が、セキュリティAPIの使いやすさの問題を特定する有効性を評価している。強化された質問票は、参加者1人あたり11.6件の使いやすさの問題を特定したのに対し、元のバージョンでは8.0件にとどまった。また、観察だけでは見逃された高レベルのインサイトを捉えることができ、セキュリティAPI設計における認知的使いやすさの問題を検出するうえで、その価値が示された。

ABSTRACT

Usability issues that exist in security APIs cause programmers to embed those security APIs incorrectly to the applications they develop. This results in introduction of security vulnerabilities to those applications. One of the main reasons for security APIs to be not usable is currently there is no proper method by which the usability issues of security APIs can be identified. We conducted a study to assess the effectiveness of the cognitive dimensions questionnaire based usability evaluation methodology in evaluating the usability of security APIs. We used a cognitive dimensions based generic questionnaire to collect feedback from programmers who participated in the study. Results revealed interesting facts about the prevailing usability issues in four commonly used security APIs and the capability of the methodology to identify those issues.

研究の動機と目的

• セキュリティAPIの使いやすさを評価するための認知次元の質問票の適用可能性を検討すること。
• Clarke (2004)の元の質問票と、セキュリティAPIに特化して強化されたバージョンの有効性を比較すること。
• プログラマー参加者による実地評価を通じて、広く使われている4つのセキュリティAPIにおける使いやすさの問題を同定すること。
• セキュリティAPI開発者がデプロイ前に使いやすさの欠陥を検出し修正するための体系的メソドロジーを提供すること。

提案手法

• Bouncycastle、Jasypt、Apache Shiro、Java Cryptography Architecture (JCA) の4つのセキュリティAPIを対象に、7名のプログラマー参加者を対象に実地研究を実施した。
• 参加者は、対象のセキュリティAPIを用いてコードの読込・作成・デバッグを含むプログラミングタスクを実行した。
• 使いやすさのフィードバック収集として、Clarke (2004)の元の12次元フレームワークと、セキュリティ特化型の15次元バージョンの2つの認知次元の質問票を用いた。
• タスク実行状況とコードアーティファクトの観察データと、質問票の回答を分析して使いやすさの問題を同定した。
• 交差分析を用いて、観察によって特定された問題と、質問票の回答から得られた問題を比較した。
• 信頼性の向上を図るためアナリストの三角測定を適用したが、現在の分析は1名の研究者によって実施された。

実験結果

リサーチクエスチョン

• RQ1 認知次元の質問票法は、セキュリティAPIにおける使いやすさの問題をどの程度効果的に特定できるか？
• RQ2 元のClarke (2004)の質問票と、セキュリティ特化型に強化されたバージョンでは、使いやすさの問題の特定においてどのように差が現れるか？
• RQ3 観察やコード解析では見逃されたが、質問票によってのみ特定される使いやすさの問題の種類は何か？
• RQ4 質問票の回答は、タスク実行状況に直接現れない高レベルの使いやすさの問題に関するインサイトをどのように提供するか？

主な発見

• 質問票法は、平均して全同定問題の74%（標準偏差 = 17.6%）を捕捉できた。これは、フィードバック収集の効果性が非常に高いことを示している。
• 観察とコード解析で同定された使いやすさの問題のうち、25.8%しか質問票で捕捉されておらず、両手法間の重複は限定的であることが示された。
• 強化された質問票は、参加者1人あたり11.6件の使いやすさの問題（標準偏差 = 4.6）を特定したのに対し、元の質問票では8.0件（標準偏差 = 3.7）にとどまった。
• 質問票は、タスク実行状況やコード解析では観察できない8.8件（標準偏差 = 3.8）の問題を捉えており、特に段階的評価、早期コミットメント、検証可能性といった認知次元に関連する問題が顕在化された。
• 質問票は、関数パラメータの曖昧さ（例：Scrypt.generate()）といった問題についても、明確に述べられていない場合でも高レベルのインサイトを提供した。
• 強化された質問票にセキュリティ特化の次元が組み込まれたことで、セキュリティ知識の前提要件の曖昧さや、誤用を避けにくいといった深刻な使いやすさの欠陥がより効果的に検出された。