[論文レビュー] Lessons Learnt in Conducting Survey Research

Marco Torchiano, Daniel Méndez+2 more|arXiv (Cornell University)|Feb 19, 2017

Data Quality and Management参考文献 9被引用数 4

ひとこと要約

この論文は、ソフトウェア工学における広範なアンケート調査研究から8つの実用的 Lessons を要約しており、アンケート設計、サンプリング、アンケート作成、参加者募集における一般的な落とし穴を避けることに焦点を当てている。複数の産業界での実際の経験を共有することで、著者たちは、調査の妥当性、応答率、代表性を向上させるための実行可能なガイダンスを提供している。特に、ソフトウェア工学における高品質な実証的研究を実施しようとする若手研究者を支援することを目的としている。

ABSTRACT

Context: Surveys constitute an valuable tool to capture a large-scale snapshot of the state of the practice. Apparently trivial to adopt, surveys hide, however, several pitfalls that might hinder rendering the result valid and, thus, useful. Goal: We aim at providing an overview of main pitfalls in software engineering surveys and report on practical ways to deal with them. Method: We build on the experiences we collected in conducting many studies and distill the main lessons learnt. Results: The eight lessons learnt we report cover different aspects of the survey process ranging from the design of initial research objectives to the design of a questionnaire. Conclusions: Our hope is that by sharing our lessons learnt, combined with a disciplined application of the general survey theory, we contribute to improving the quality of the research results achievable by employing software engineering surveys.

研究の動機と目的

• ソフトウェア工学におけるアンケート調査で頻発する欠陥、たとえば低応答率、偏ったサンプル、不適切なアンケート設計の是正を目的とする。
• 特に産業界環境において経験された、アンケートライフサイクル中の実用的課題を特定・文書化すること。
• 理論的ガイドラインを超えた、経験に基づいた実用的知見を共有することで、若手研究者を支援すること。
• 方法論的徹底と実務的認識の強調により、ソフトウェア工学におけるアンケートベースの調査結果の妥当性と信頼性を向上させること。

提案手法

• 著者たちは、要件工学、アジャイル手法、ソフトウェア移行など、多様なソフトウェア工学分野における複数の産業界アンケートを実施した経験から、 Lessons を統合した。
• アンケート設計、サンプリング戦略、アンケート作成、参加者募集における繰り返し発生する問題を体系的に分析するアプローチを適用した。
• 反復的アンケート配信とフィードバックループを用いて、応答行動、招待の効果、データの代表性を評価する方法を採用した。
• Webベースのツールに固有のトークンを用いることで、アンケート招待の無制御な転送を防ぎ、サンプルの整合性を維持した。
• 初期招待、リマインダー、インcentive（例：抽選、結果共有）が参加率に与える影響を評価した。
• 非確率的サンプリング手法を用いる場合に特に重要となる、回答者側の属性とターゲット集団のプロファイルを比較し、代表性を評価した。

実験結果

リサーチクエスチョン

• RQ1 産業界環境において特に顕著な、ソフトウェア工学アンケート調査における最も一般的な方法論的落とし穴は何か？
• RQ2 非確率的サンプリング手法に依存する場合、調査サンプルの代表性をどのように向上させられるか？
• RQ3 選択バイアスを導入せずに、応答率を高めるために最も効果的な戦略は何か？
• RQ4 参加者を不快にさせず、かつ参加率を最大化するためには、アンケート招待およびリマインダーをどのように構成すべきか？
• RQ5 結果共有は、今後のアンケート調査への実務家参加を促進する上で、どのような役割を果たすか？

主な発見

• 限定的で明確に定義された応答期間（例：数週間）を設けることで、参加者の忘れやすさのリスクが著しく低下し、応答率が向上する。
• 初期招待後4〜8日目に最初のリマインダーを送信すると、応答率が顕著に向上するが、追加のリマインダーは効果が次第に薄れる。
• 招待文に、調査が自身の業務にどのように関連しているか、特に自身の意見の価値を明確に示すことで、参加者が応答しやすくなる。
• 抽選や集計結果の共有といったインcentiveを提供することで、やや意欲の薄い実務家層の参加が促進される。
• 制御のない形でアンケート招待を転送すると、サンプルの整合性が損なわれる可能性がある。Webベースのツールに固有のトークンを用いることで、効果的な技術的対策が得られる。
• 招待文に特定のツールや実務手法が言及されていると、自己除外バイアスが生じる可能性があり、非利用者層の採用率が低く見積もられることがある。