[論文レビュー] When Respondents Don't Care Anymore: Identifying the Onset of Careless Responding

Max Welz, Andreas Alfons|ArXiv.org|Mar 13, 2023

Mental Health Research Topics被引用数 5

ひとこと要約

本論文は、自己正規化を用いた変化点検出を用いて、一貫性、不変性、反応速度の3つの応答次元における構造的変化を特定することにより、長時間のアンケートにおける無頓着応答の開始を機械学習ベースの手法で検出する方法を提案する。この手法は、被験者が注意深い応答から無頓着な応答に移行するタイミングを信頼性高く特定でき、研究者が正確な応答セグメントのみを分析できるようにし、サンプルサイズを維持できる。

ABSTRACT

Questionnaires in the behavioral sciences tend to be lengthy. However, literature suggests that survey length is a contributing factor to careless responding, with longer questionnaires yielding higher probability that participants start responding carelessly. Consequently, in long surveys a large number of participants may engage in careless responding, posing a major threat to internal validity. We propose a novel method for identifying the onset of careless responding (or an absence thereof) that searches for a changepoint in combined measurements of multiple dimensions in which carelessness may manifest, such as inconsistency and invariability. It is highly flexible, based on machine learning, and provides statistical guarantees for controlling the false positive rate. In simulation experiments, the proposed method achieves high accuracy in identifying carelessness onset and discriminates well between attentive and various types of careless responding, even when a large number of careless respondents are present. An empirical application highlights how identifying partial carelessness uncovers novel insights on careless responding behavior. Furthermore, we provide the freely available open source software package "carelessonset" to facilitate adoption by empirical researchers.

研究の動機と目的

• 長期間にわたる行動科学および組織科学分野のアンケートにおいて、疲労や退屈によって被験者が正確な応答を放棄するという、無頓着応答の増加する脅威に対処すること。
• 全応答を一様に無頓着または注意深いものとして扱うのでなく、各被験者の無頓着応答が開始される正確な項目を特定する手法を開発すること。
• 事前に応答スタイルを定義しない柔軟な、モデルフリーのアプローチを提供し、自己正規化による統計的保証を提供すること。
• 研究者が部分的に無頓着な被験者からの有効な応答セグメントを保持できることで、統計的パワーを維持し、サンプル損失を低減できること。
• 無頓着応答セグメントを別々に分析できるようにすることで、理論的考察の新たな道筋を拓くこと。

提案手法

• 無頓着の兆候としての3つの指標を統合する：応答の不一致（例：矛盾する回答）、不変性（例：長時間にわたる「賛成」や「反対」の繰り返し）、および迅速な反応時間。
• 各被験者の応答系列において、3つの次元における構造的変化（変化点）を検出するために、自己正規化に基づく検定統計量を用いる。
• 変化点検出は、Shao & Zhang (2010) の手法を多次元時系列に適応して実施し、応答行動の変化が生じるタイミングを特定する。
• 非パラメトリックかつモデルフリーなアプローチであり、応答分布や事前に定義された無頓着応答パターンに関する仮定を避ける。
• 反応の不変性を測定するために、無頓着を示す反復的応答パターンを検出するための適応的ロングストリングパターンアルゴリズムを用いる。
• R言語で実装され、オープンソースソフトウェアとして公開されており、実証的研究における利用促進と導入を目的としている。

(a) The three dimensions indicative of carelessness. “RE” denotes the autoencoder reconstruction error, “ALSP” is the AdaptiveLongstringPattern sequence, and “Time” the per-page response time.

実験結果

リサーチクエスチョン

• RQ1 長時間のアンケートにおいて、各被験者の無頓着応答はどの項目で開始されるか？
• RQ2 一貫性、不変性、反応速度といった複数の無頓着の兆候を効果的に統合し、無頓着応答の開始を検出できるか？
• RQ3 さまざまなレベルの無頓着性や応答パターン下で、この手法が変化点を特定する信頼性はどの程度か？
• RQ4 この手法は、部分的に無頓着な被験者と一貫して注意深い被験者を高精度で区別できるか？
• RQ5 有効な応答セグメントを分離することで、この手法がどれほど有効に正確なデータを保持し、アンケート分析におけるサンプル損失を低減できるか？

主な発見

• シミュレーション実験において、高い信頼性で無頓着応答の開始を特定でき、高レベルの無頓着性下でも同様に有効であった。
• 注意深い応答と部分的に無頓着な応答の被験者を効果的に区別でき、多様な応答スタイルにおいて優れた性能を示した。
• 不一致、不変性、または極めて迅速な応答を示す多様な無頓着応答パターンを捉えることができた。
• ビッグファイブパーソナリティ調査における実証的検証で、応答行動の有意義な変化を検出できる能力が確認された。
• 研究者が無頓着な部分の応答のみを除外できるため、部分的に無頓着な被験者からの有効なデータを保持でき、サンプル損失を最小限に抑えることができた。
• オープンソースのR実装により、標準的なアンケートデータ前処理パイプラインへの統合が容易になり、広範な採用が促進された。

(b) The per-response test statistic of the changepoint detection test. The dashed horizontal line corresponds to the associated critical value at significance level 0.1%.