[論文レビュー] Statistical Analysis of Dice CAPTCHA Usability

Darko Brodić, Alessia Amelio+1 more|arXiv (Cornell University)|Jun 30, 2017

User Authentication and Security Systems参考文献 3被引用数 5

ひとこと要約

本研究では、190名の参加者を対象にラップトップとタブレットでユーザー実験を実施し、Mann-Whitney U検定を用いた統計解析により、年齢、教育水準、性別などのデモグラフィック要因に起因する反応時間の差を評価した。結果として、反応時間は唯一、年齢、教育水準、性別とは独立していることが判明した。これは、Dice CAPTCHAが有望ではあるが、デバイスタイプによる顕著なパフォーマンス差のため、まだ完全な最適解とは言えないことを示している。

ABSTRACT

In this paper the elements of the CAPTCHA usability are analyzed. CAPTCHA, as a time progressive element in computer science, has been under constant interest of ordinary, professional as well as the scientific users of the Internet. The analysis is given based on the usability elements of CAPTCHA which are abbreviated as user-centric approach to the CAPTCHA. To demonstrate it, the specific type of Dice CAPTCHA is used in the experiment. The experiment is conducted on 190 Internet users with different demographic characteristics on laptop and tablet computers. The obtained results are statistically processed. At the end, the results are compared and conclusion of their use is drawn.

研究の動機と目的

• ユーザー中心の視点から、Dice CAPTCHAの使いやすさを、年齢・教育水準・性別などのデモグラフィック要因およびデバイス関連要因に起因する反応時間の観点から評価すること。
• 年齢、教育水準、性別といったデモグラフィック要因が、Dice CAPTCHAの解読に要する反応時間に顕著に影響を与えるかどうかを特定すること。
• デバイスタイプ（ラップトップ対タブレット）が、CAPTCHAの解読パフォーマンスに与える影響を評価すること。
• Dice CAPTCHAが「最適な」CAPTCHAの基準を満たしているかどうか、特に多様なユーザーにおいて使いやすさが一貫しているかどうかを調査すること。
• ボット抵抗性を維持しつつ、人間の使いやすさを向上させるためのCAPTCHA設計改善に、実証的データを提供すること。

提案手法

• 190名のインターネットユーザー（ラップトップ利用者90名、タブレット利用者100名）を対象に、2種類のDice CAPTCHA（Dice 1およびDice 2）を用いた制御された実験を実施した。
• 参加者がそれぞれのデバイス上で2つのCAPTCHAバージョンを解読する際の反応時間データを収集した。
• 年齢層、性別、教育水準、デバイスタイプなどの独立したグループ間の反応時間分布を比較するために、Mann-Whitney U検定を適用した。
• 大標本におけるU検定統計量およびZスコア変換を用い、有意水準（α = 0.05）で統計的有意性を判定した。
• 反応時間のグループ間差が統計的に有意であるかどうかを評価するために、Asymp. Sig. (2-tailed) のp値を計算した。
• p値が0.05の閾値を超えたかどうかに基づき、仮説を評価した。p値が有意水準を超えた場合、差が有意でない（すなわち、使いやすさの独立性がある）と判断した。

実験結果

リサーチクエスチョン

• RQ1 Dice CAPTCHAの解読に要する反応時間は、ユーザーの年齢によって顕著に異なるか？
• RQ2 ユーザーの学歴背景によって、反応時間に統計的に有意な差が生じるか？
• RQ3 性別が、Dice CAPTCHAの解読に要する時間に影響を与えるか？
• RQ4 デバイスタイプ（ラップトップ対タブレット）は、Dice CAPTCHAの解読反応時間にどのように影響するか？
• RQ5 Dice CAPTCHAは、年齢・教育水準・性別などのデモグラフィック要因およびデバイス関連要因に起因する使いやすさの独立性という観点から、『最適な』CAPTCHAの基準をどの程度満たしているか？

主な発見

• 反応時間に年齢層ごで統計的に有意な差は認められなかった（p > 0.05）。これは、年齢が使いやすさに影響しないという仮説を支持するものである。
• 教育水準に起因する反応時間の差は統計的に有意ではなかった（p > 0.05）。これは、学歴が解読速度に影響しないことを示している。
• 性別による反応時間の差は有意ではなかった（p > 0.05）。これは、性別が解読速度に影響しないことを示唆している。
• ラップトップ利用者は、タブレット利用者に比べて約50％速くDice CAPTCHAを解読した。この差は統計的に有意であった（p < 0.05）。これは、デバイスタイプがパフォーマンスに強く影響していることを示している。
• デモグラフィック要因（H₁）に関する反応時間の独立性の仮説のみが支持された。H₂、H₃、H₄（年齢、教育水準、性別の仮説）は、p値が有意でなかったため棄却された。
• 『最適な』CAPTCHAの基準に部分的に合致しているものの、顕著なデバイス依存のパフォーマンス格差のため、現段階ではDice CAPTCHAは完全な最適解とは言えない。