[논문 리뷰] What Do We Mean by "Accessibility Research"? A Literature Survey of Accessibility Papers in CHI and ASSETS from 1994 to 2019

Kelly Mack, Emma J. McDonnell외 4명|arXiv (Cornell University)|2021. 01. 11.

Digital Accessibility for Disabilities참고 문헌 158인용 수 284

한 줄 요약

이 논문은 1994–2019년 동안 CHI와 ASSETS에서 발표된 836편의 접근성 관련 논문에 대한 종합적인 문헌 조사를 수행하여 연구 초점, 방법론, 참가자 포함 방식의 추세를 분석한다. 연구 결과, 최근 논문의 43%가 실명 및 시력 장애를 가진 사용자에게 집중되어 있어 불균형한 연구 초점이 드러났으며, 장애를 가진 참가자의 중앙값 표본 크기는 13명으로, 통계적 검정력이 부족하고 표현이 부족할 가능성이 있음을 보여주었다. 또한, 대리 참가자 및 능력주의적 비교 방법에 대한 윤리적 우려가 제기되었으며, 향후 포괄적인 연구를 이끄는 데 기여할 수 있는 개방형 데이터셋과 비판적 성찰을 제공한다.

ABSTRACT

Accessibility research has grown substantially in the past few decades, yet there has been no literature review of the field. To understand current and historical trends, we created and analyzed a dataset of accessibility papers appearing at CHI and ASSETS since ASSETS' founding in 1994. We qualitatively coded areas of focus and methodological decisions for the past 10 years (2010-2019, N=506 papers), and analyzed paper counts and keywords over the full 26 years (N=836 papers). Our findings highlight areas that have received disproportionate attention and those that are underserved--for example, over 43% of papers in the past 10 years are on accessibility for blind and low vision people. We also capture common study characteristics, such as the roles of disabled and nondisabled participants as well as sample sizes (e.g., a median of 13 for participant groups with disabilities and older adults). We close by critically reflecting on gaps in the literature and offering guidance for future work in the field.

연구 동기 및 목표

• CHI와 ASSETS의 주요 논문을 분석하여 접근성 연구의 발전 과정과 현재 상태를 이해하기 위해.
• 접근성 연구에서 비율적으로 더 많은 관심을 받는 장애 공동체와 여전히 소외된 공동체를 특정하기 위해.
• 표본 크기, 장애를 가진 참가자와 비장애인 참가자의 사용, 연구 설계 선택과 같은 방법론적 관행을 분석하기 위해.
• 능력 기반 비교 및 대리 참가자 참여와 같은 연구 관행에서 나타나는 능력주의의 역할을 비판적으로 성찰하기 위해.
• 506편의 논문으로 구성된 개방형 코딩 데이터셋과 분야의 향후 연구를 위한 실질적인 권고안을 제공함으로써 기초를 마련하기 위해.

제안 방법

• 정확성을 확보하기 위해 ACM 메타데이터와 수동 검증을 활용하여 1994–2019년 동안 CHI와 ASSETS에서 발표된 836편의 접근성 논문 데이터셋을 구축하였다.
• 2010–2019년 동안의 506편의 논문에 대해 상세한 코드북을 사용하여 질적 코딩을 수행하여 연구 초점, 기여 유형, 방법론적 결정 요소를 분류하였다.
• 시간 경과에 따른 논문 수와 키워드 빈도의 변화를 분석하여 연구 관심의 변화 추세를 파악하였다.
• 코드북 개발 과정에서 평가자 간 일致성(IRR) 검사를 실시하여 질적 코딩의 일관성과 편향을 최소화하였다.
• 참가자 역할(장애를 가진 자와 비장애인의 참여 여부 등)의 패턴을 식별하고 연구 관행의 윤리적 함의를 평가하기 위해 주제 분석을 활용하였다.
• 향후 접근성 연구의 메타분석과 재현 가능성을 지원하기 위해 전체 메타데이터와 적용된 코드를 포함한 오픈소스 데이터셋을 제공하였다.

실험 결과

연구 질문

• RQ1 접근성 연구의 주요 초점 공동체는 누구이며, 이들의 초점은 시간이 지남에 따라 어떻게 변화해 왔는가?
• RQ2 특히 지난 10년 동안 접근성 연구에서 지배적인 연구 목표와 기여 유형은 무엇인가?
• RQ3 장애를 가진 참가자와 비장애인 참가자는 접근성 연구에서 어떻게 참여하고 있으며, 이러한 역할의 함의는 무엇인가?
• RQ4 표본 크기, 연구 설계, 참가자 중심 방법의 사용 등 주로 관찰되는 방법론적 관행는 무엇인가?
• RQ5 현재 연구 관행는 능력주의적 관행를 어떻게 반영하거나 도전하고 있으며, 비장애인 사용자와의 비교나 대리 참가자 사용으로 인해 발생하는 윤리적 고려사항은 무엇인가?

주요 결과

• 2010–2019년 동안 접근성 논문의 43% 이상이 실명 및 시력 장애를 가진 사용자(Blind and Low Vision, BLV)를 중심으로 하여 연구 초점의 심각한 불균형이 드러났다.
• 장애를 가진 참가자 또는 노인층의 참가자 집단의 중앙값 표본 크기는 13명으로, 통계적 검정력이 부족하고 표현이 부족할 가능성이 있음을 시사한다.
• 자폐 스펙트럼 장애, 인지 장애, 발달 장애에 대한 연구는 종종 '특수교육 학생'이나 '정서사회적 장애'와 같은 넓은 용어로 묶여 있어, 일관되지 않거나 잊히는 용어 사용이 있음을 보여준다.
• 다수의 연구에서 비장애인 참가자를 대리 참가자로 사용하거나 능력 기반 비교를 통해 참가자로 활용하여, 능력주의적 관행를 강화할 수 있다는 윤리적 우려가 제기되었다.
• 키워드 분석 결과, 접근성 연구는 1994년 이후 급격히 성장했으며, 최근 10년간 CHI 전체 성장률을 뛰어넘었고, 다양한 사용자 집단에 대한 관심이 증가하고 있음을 보여주었다.
• 성장에도 불구하고, 여전히 비장애인 사용자를 기본 기준으로 삼는 범용적 프레임워크에 의존하고 있어, 연구 설계 및 해석 과정에서 장애를 가진 목소리가 간과될 위험이 있다.