[論文レビュー] Human Factors in Security Research: Lessons Learned from 2008-2018

Mannat Kaur, Michel van Eeten+3 more|arXiv (Cornell University)|Mar 24, 2021

Information and Cyber Security参考文献 142被引用数 10

ひとこと要約

本論文は2008–2018年の間のサイバーセキュリティ分野における人間要因研究の10年間を分析し、システム管理者や開発者などのエキスパートユーザーに焦点を当て、エンドユーザー研究と比較している。主な欠陥として、西洋中心主義的バイアス、理論的根拠の弱さ、倫理的実践の不一致を特定し、分野の科学的厳密性と現実世界の関連性を高めるために、安全科学の原則の統合、サンプルの多様化、理論の強化、倫理の形式化を提言している。

ABSTRACT

Instead of only considering technology, computer security research now strives to also take into account the human factor by studying regular users and, to a lesser extent, experts like operators and developers of systems. We focus our analysis on the research on the crucial population of experts, whose human errors can impact many systems at once, and compare it to research on regular users. To understand how far we advanced in the area of human factors, how the field can further mature, and to provide a point of reference for researchers new to this field, we analyzed the past decade of human factors research in security and privacy, identifying 557 relevant publications. Of these, we found 48 publications focused on expert users and analyzed all in depth. For additional insights, we compare them to a stratified sample of 48 end-user studies. In this paper we investigate: (i) The perspective on human factors, and how we can learn from safety science (ii) How and who are the participants recruited, and how this -- as we find -- creates a western-centric perspective (iii) Research objectives, and how to align these with the chosen research methods (iv) How theories can be used to increase rigor in the communities scientific work, including limitations to the use of Grounded Theory, which is often incompletely applied (v) How researchers handle ethical implications, and what we can do to account for them more consistently Although our literature review has limitations, new insights were revealed and avenues for further research identified.

研究の動機と目的

• コンピュータセキュリティ分野におけるエキスパートユーザー、特にシステム開発者、運用者、管理者に焦点を当てた人間要因研究の現状を評価すること。
• エキスパート中心の研究とエンドユーザー研究を比較し、方法論的および概念的側面での相違点と類似点を特定すること。
• 研究設計におけるシステム的問題、たとえばサンプルバイアス、弱い理論的枠組み、倫理的実践の不一致を同定すること。
• 成熟した分野（例：安全科学、社会心理学）の知見を活用して、科学的厳密性と一般化可能性を高めるための改善策を提言すること。
• 理論統合、方法論の多様化、倫理基準の標準化といった具体的な提言を通じて、今後の研究を導くこと。

提案手法

• 2008年から2018年までの、セキュリティおよびプライバシー分野における人間要因に関する557件の出版物を系統的レビューし、48件のエキスパート中心の研究を詳細分析した。
• 48件のエキスパート研究と、層別抽出された48件のエンドユーザー研究を比較し、研究目的、手法、理論的関与の面で対比を行った。
• テーマ的分析を用いて、研究視点、参加者募集方法、研究目的、方法論的選択、理論の使用、倫理的配慮におけるパターンを同定した。
• 定性的研究におけるグランド理論の適用状況を評価し、データ収集が不完全であることや理論的飽和が達成されていないことなどの一般的な誤用を特定した。
• 安全科学の理論的枠組み（例：逸脱の正常化、誤りのシステム的要因）を用いて、人間要因における「最弱のリンク」モデル（誤りの原因を個人に帰属づけるモデル）を批判した。
• コミュニティ主導の倫理委員会の設立を提言し、文化的次元理論を応用して、サンプルの多様化と外部妥当性の向上に向けた戦略を提案した。

実験結果

リサーチクエスチョン

• RQ1 安全科学から得られる何らかの知見は、特に誤りのシステム的要因に着目した場合、コンピュータセキュリティ分野における人間要因の理解をどのように改善できるか？
• RQ2 現在の研究では、エキスパートユーザーはどのように選抜されているのか。また、その選抜プロセスがどの程度西洋中心主義的バイアスを生じさせているのか？
• RQ3 エキスパート中心の人間要因研究における主な研究目的は何か。また、選択された研究手法とその整合性はどの程度高いのか？
• RQ4 理論的枠組みは、エキスパート中心の人間要因研究でどの程度一貫的かつ効果的に使用されているのか。現在の理論適用における制限要因は何か？
• RQ5 エキスパートに関する人間要因研究における倫理的配慮は、どのように扱われているのか。また、研究間で倫理の一貫性を高めるためのメカニズムは何か？

主な発見

• エキスパート中心の人間要因研究の大部分が、米国およびヨーロッパからの参加者を対象としており、その結果、一般化可能性に制限をもたらす強い西洋中心主義的バイアスが生じている。
• 理論的枠組みを明示的に使用している研究はわずかに過ぎず、使用されている場合でも、多くの研究がグランド理論を完全に遵守しておらず、多くの研究がその方法論的プロセスを正しく実施していないとされる。
• 人間の誤りに関する「最弱のリンク」モデル（セキュリティの失敗を個人の責任に帰属づけるモデル）が依然として支配的であるが、安全科学の証拠から、誤りはシステム的かつ確率的であるという事実と矛盾している。
• 研究目的がしばしば探索的または記述的であり、ユーザー行動に基づいた安全なシステムの設計や評価に焦点を当てた研究は限定的である。これは、理論を根拠にした応用的設計研究におけるギャップを示している。
• 倫理的配慮は一貫して扱われておらず、特に学術的でない、あるいは業界主導の研究では公式な倫理審査が欠落しているケースが多く、標準化された倫理的監視体制の必要性が浮き彫りになっている。
• 再現研究は稀であり、研究結果が異なる社会経済的・文化的背景の文脈で検証されることはほとんどない。これは、分野の外部妥当性と累積的進歩を損なう要因となっている。