[논문 리뷰] When Respondents Don't Care Anymore: Identifying the Onset of Careless Responding

Max Welz, Andreas Alfons|ArXiv.org|2023. 03. 13.

Mental Health Research Topics인용 수 5

한 줄 요약

이 논문은 자기정규화를 사용한 변화점 탐지 기법을 통해 장기 설문지에서 무심한 응답의 시작 시점을 탐지하기 위한 기계학습 기반 방법을 제안한다. 이 방법은 일관성, 일정성, 반응 속도의 세 가지 반응 차원에서의 구조적 변화를 식별함으로써 참가자가 주의 깊은 반응에서 무심한 반응으로 전환하는 순간을 신뢰성 있게 특정한다. 이를 통해 연구자들은 정확한 반응 세그먼트만 분석할 수 있고 표본 수를 유지할 수 있다.

ABSTRACT

Questionnaires in the behavioral sciences tend to be lengthy. However, literature suggests that survey length is a contributing factor to careless responding, with longer questionnaires yielding higher probability that participants start responding carelessly. Consequently, in long surveys a large number of participants may engage in careless responding, posing a major threat to internal validity. We propose a novel method for identifying the onset of careless responding (or an absence thereof) that searches for a changepoint in combined measurements of multiple dimensions in which carelessness may manifest, such as inconsistency and invariability. It is highly flexible, based on machine learning, and provides statistical guarantees for controlling the false positive rate. In simulation experiments, the proposed method achieves high accuracy in identifying carelessness onset and discriminates well between attentive and various types of careless responding, even when a large number of careless respondents are present. An empirical application highlights how identifying partial carelessness uncovers novel insights on careless responding behavior. Furthermore, we provide the freely available open source software package "carelessonset" to facilitate adoption by empirical researchers.

연구 동기 및 목표

• 피로나 지루함으로 인해 참가자가 정확한 반응을 포기하는 장기적인 행동 및 조직과학 설문지에서 무심한 반응의 증가하는 위협을 다루기 위해.
• 모든 반응을 균일하게 무심한 또는 주의 깊은 것으로 간주하는 대신, 각 참가자에 대해 무심한 반응이 시작되는 정확한 항목을 특정하는 방법을 개발하기 위해.
• 사전에 반응 스타일을 정의하지 않으며, 자기정규화를 통해 통계적 보장을 제공하는 유연하고 모델 기반의 접근법을 제공하기 위해.
• 연구자들이 부분적으로 무심한 반응을 보인 참가자들로부터 유효한 반응 세그먼트를 유지함으로써 통계적 검정력과 표본 손실을 줄이기 위해.
• 무심한 반응 세그먼트를 별도로 분석할 수 있도록 해, 그 심리적 연관성을 연구하는 데 이론 구축의 새로운 길을 열기 위해.

제안 방법

• 무심함의 세 가지 지표를 조합한다: 반응의 일관성 부족(예: 모순되는 답변), 일정성(예: '동의' 또는 '반대'의 장기간 반복 패턴), 그리고 빠른 반응 시간.
• 각 참가자의 반응 시퀀스에서 세 차원의 구조적 변화(변화점)를 탐지하기 위해 자기정규화 기반 검정 통계량을 사용한다.
• 변화점 탐지는 Shao & Zhang(2010)의 방법을 다차원 시계열에 적응하여 적용하여 반응 행동의 전환 시점을 식별한다.
• 비모수적이고 모델 기반의 접근법으로, 반응 분포나 사전 정의된 무심한 반응 패턴에 대한 가정을 피한다.
• 무심한 반응을 나타내는 반복적인 반응 패턴을 탐지하기 위해 적응형 장문 패턴 알고리즘을 사용한다.
• 이 방법은 R로 구현되어 오픈소스 소프트웨어로 공개되어 있어, 실증 연구에서의 접근성과 보급을 촉진한다.

(a) The three dimensions indicative of carelessness. “RE” denotes the autoencoder reconstruction error, “ALSP” is the AdaptiveLongstringPattern sequence, and “Time” the per-page response time.

실험 결과

연구 질문

• RQ1 장기 설문지에서 각 참가자가 무심한 반응을 시작하는 항목은 어디인가?
• RQ2 일관성, 일정성, 반응 속도 등의 다수 지표를 효과적으로 조합하여 무심한 반응의 시작을 탐지할 수 있는가?
• RQ3 다양한 수준의 무심한 반응과 반응 패턴에서 이 방법이 변화점 탐지에 얼마나 신뢰할 수 있는가?
• RQ4 이 방법은 부분적으로 무심한 참가자와 일관되게 주의 깊은 참가자를 높은 정확도로 구분할 수 있는가?
• RQ5 이 방법을 통해 유효한 반응 세그먼트를 분리함으로써 얼마나 많은 유효 데이터를 유지할 수 있으며, 설문 분석에서 표본 손실을 얼마나 줄일 수 있는가?

주요 결과

• 모의 실험에서 이 방법은 높은 신뢰도로 무심한 반응의 시작 시점을 탐지하며, 높은 수준의 무심한 반응 상황에서도 성능이 뛰어나다.
• 주의 깊은 반응자와 부분적으로 무심한 반응을 보이는 참가자를 효과적으로 분류하며, 다양한 반응 스타일에서 뛰어난 성능을 보인다.
• 이 방법은 일관성 부족, 일정성, 또는 극도로 빠른 반응을 보이는 다양한 유형의 무심한 반응 패턴을 포괄적으로 포착한다.
• 빅 파이브 성격 설문지에 대한 실증 검증을 통해 이 방법이 반응 행동의 의미 있는 변화를 탐지할 수 있음을 확인했다.
• 이 방법은 오직 무심한 부분만 제외함으로써 부분적으로 무심한 참가자들로부터 유효한 데이터를 유지할 수 있게 하여 표본 손실을 최소화한다.
• 오픈소스 R 구현체는 표준 설문 데이터 전처리 파이프라인에의 통합과 보급을 촉진한다.

(b) The per-response test statistic of the changepoint detection test. The dashed horizontal line corresponds to the associated critical value at significance level 0.1%.