[논문 리뷰] Human Factors in Security Research: Lessons Learned from 2008-2018

Mannat Kaur, Michel van Eeten외 3명|arXiv (Cornell University)|2021. 03. 24.

Information and Cyber Security참고 문헌 142인용 수 10

한 줄 요약

이 논문은 2008–2018년 사이의 사이버보안 분야에서의 인간요인 연구 10년 간의 분석을 통해 시스템 관리자 및 개발자와 같은 전문 사용자에 중점을 두고 있으며, 일반 사용자 연구와 비교한다. 주요한 한계점으로는 서구 중심적 편향, 이론적 기반의 취약성, 윤리적 관행의 일관성 부족을 지적하며, 안전 과학 원칙 통합, 샘플 다양화, 이론 사용 강화, 윤리 기준화를 통해 분야의 과학적 엄밀성과 실제 적용 가능성 향상을 위한 권고안을 제시한다.

ABSTRACT

Instead of only considering technology, computer security research now strives to also take into account the human factor by studying regular users and, to a lesser extent, experts like operators and developers of systems. We focus our analysis on the research on the crucial population of experts, whose human errors can impact many systems at once, and compare it to research on regular users. To understand how far we advanced in the area of human factors, how the field can further mature, and to provide a point of reference for researchers new to this field, we analyzed the past decade of human factors research in security and privacy, identifying 557 relevant publications. Of these, we found 48 publications focused on expert users and analyzed all in depth. For additional insights, we compare them to a stratified sample of 48 end-user studies. In this paper we investigate: (i) The perspective on human factors, and how we can learn from safety science (ii) How and who are the participants recruited, and how this -- as we find -- creates a western-centric perspective (iii) Research objectives, and how to align these with the chosen research methods (iv) How theories can be used to increase rigor in the communities scientific work, including limitations to the use of Grounded Theory, which is often incompletely applied (v) How researchers handle ethical implications, and what we can do to account for them more consistently Although our literature review has limitations, new insights were revealed and avenues for further research identified.

연구 동기 및 목표

• 컴퓨터 보안 분야에서 전문 사용자, 특히 시스템 개발자, 운영자, 관리자에 대한 인간요인 연구의 현재 상태를 평가하는 것.
• 전문가 중심 연구와 일반 사용자 연구를 비교하여 방법론적 및 개념적 유사점과 차이점을 밝히는 것.
• 연구 설계의 체계적 문제점, 예를 들어 표본 편향, 약한 이론적 프레임워크, 윤리적 관행의 일관성 부족을 특정하는 것.
• 안정된 학문 분야인 안전 과학 및 사회심리학의 사례를 활용하여 과학적 엄밀성과 일반화 가능성 향상을 위한 개선 방안을 제시하는 것.
• 이론 통합, 방법론 다양화, 윤리 기준화를 포함한 실천 가능한 권고안을 통해 향후 연구를 이끌어내는 것.

제안 방법

• 2008~2018년 사이의 사이버보안 및 개인정보 보호 분야 인간요인 연구 논문 557편을 체계적으로 검토하였으며, 전문가 중심 연구 48편에 대해 깊이 있는 분석을 수행하였다.
• 전문가 중심 연구 48편을 일반 사용자 연구의 분层 샘플 48편과 비교하여 연구 목적, 방법, 이론적 참여도를 대비 분석하였다.
• 주제 분석을 적용하여 연구 관점, 참가자 모집 방식, 목적, 방법론적 선택, 이론 사용, 윤리적 고려사항 등의 패턴을 식별하였다.
• 질적 연구에서 기반 이론(Grounded Theory)의 적용을 평가하여, 데이터 수집 미완료 및 이론적 포화 부족과 같은 일반적인 오용 사례를 파악하였다.
• 안전 과학 이론 프레임워크(예: 위반의 정상화, 오류의 체계적 성격)를 활용하여 보안 분야에서 인간 오류에 대한 '가장 약한 고리' 모델을 비판하였다.
• 커뮤니티 기반 윤리 위원회 설립을 제안하고, 문화 차원 이론을 적용하여 샘플 다양성 향상 및 외부 타당성 제고 전략을 제안하였다.

실험 결과

연구 질문

• RQ1 안전 과학에서 도출된 통찰은 컴퓨터 보안 분야의 인간요인 이해, 특히 오류의 체계적 원인을 개선하는 데 어떻게 적용될 수 있는가?
• RQ2 현재 연구에서 전문 사용자는 어떻게 모집되며, 이 모집 과정이 얼마나 서구 중심적 편향을 초래하는가?
• RQ3 전문가 중심 인간요인 연구의 주요 연구 목적은 무엇이며, 선택된 연구 방법과 얼마나 잘 일치하는가?
• RQ4 이론적 프레임워크는 전문가 중심 인간요인 연구에서 얼마나 일관되고 효과적으로 사용되고 있으며, 현재의 이론 적용에 한계는 무엇인가?
• RQ5 전문가에 대한 인간요인 연구에서 윤리적 고려사항은 어떻게 다루어지며, 연구 간 윤리 일관성을 높이기 위한 메커니즘은 무엇인가?

주요 결과

• 전문가 중심 인간요인 연구의 상당수는 미국과 유럽에서 온 참가자들로 이루어져 있어, 연구 결과의 일반화 가능성에 심각한 제약을 초래하는 강한 서구 중심적 편향을 보이고 있다.
• 연구의 소수에만 명시적인 이론적 프레임워크가 사용되며, 사용된 경우에도 대부분 완전히 적용되지 않아, 많은 연구가 기반 이론을 주장하지만 그 방법론적 과정을 충족시키지 못하고 있다.
• 보안 실패 원인을 개인의 실수로 몰아붙이는 '가장 약한 고리' 모델이 여전히 지배적이지만, 안전 과학의 증거에 따르면 오류는 체계적이고 확률적인 성격을 지닌다.
• 연구 목적은 자주 탐색적 또는 기술적 성격을 띠며, 사용자 행동 기반의 안전한 시스템 설계나 평가에 초점이 맞춰지지 않아, 적용 중심의 이론 기반 설계 연구에 대한 격차가 존재한다.
• 윤리적 고려사항은 일관성 있게 다루어지지 않으며, 특히 비학술적 또는 산업 주도 연구에서는 공식적인 윤리 심의가 부족한 경우가 많아, 표준화된 윤리 감독 체계의 필요성이 제기된다.
• 재현 연구는 흔치 않으며, 연구 결과가 다양한 사회경제적 또는 문화적 맥락에서 검증되지 않아 분야의 외부 타당성과 누적적 진전에 악영향을 미치고 있다.