[論文レビュー] Bayesian item response models for citizen science ecological data

Edgar Santos–Fernández, Kerrie Mengersen|arXiv (Cornell University)|Mar 16, 2020

Species Distribution and Climate Change参考文献 82被引用数 6

ひとこと要約

本稿は、空間的自己相関を考慮したベイジアン項目反応理論（IRT）フレームワークを提唱し、市民科学の生態学的データに特化したものである。この手法では、アイテム難易度の空間的自己相関を組み込み、参加者の能力、種の難易度、当てずっぽうの行動、識別力の推定が可能である。シミュレート済みおよび現実のセレングエティ野生生物カメラトラップデータを用いた評価において、RMSE、正答率、WAICの観点で従来のIRTモデルを上回る性能を示し、大規模データ処理のための分割統治戦略により計算がスケーラブルである。

ABSTRACT

So-called 'citizen science' data elicited from crowds has become increasingly popular in many fields including ecology. However, the quality of this information is being frequently debated by many within the scientific community. Therefore, modern citizen science implementations require measures of the users' proficiency that account for the difficulty of the tasks. We introduce a new methodological framework of item response and linear logistic test models with application to citizen science data used in ecology research. This approach accommodates spatial autocorrelation within the item difficulties and produces relevant ecological measures of species and site-related difficulties, discriminatory power and guessing behavior. These, along with estimates of the subject abilities allow better management of these programs and provide deeper insights. This paper also highlights the fit of item response models to big data via divide-and-conquer. We found that the suggested methods outperform the traditional item response models in terms of RMSE, accuracy, and WAIC based on leave-one-out cross-validation on simulated and empirical data. We present a comprehensive implementation using a case study of species identification in the Serengeti, Tanzania. The R and Stan codes are provided for full reproducibility. Multiple statistical illustrations and visualizations are given which allow practitioners the extrapolation to a wide range of citizen science ecological problems.

研究の動機と目的

• 参加者の能力とアイテム難易度が潜在的かつ多様である、市民科学の生態学的データセットにおけるデータ品質のばらつきという課題に対処する。
• 特に地理座標が付与された画像から得られる生態学的データに適した、アイテム難易度における空間的自己相関を統合した統計的フレームワークを構築する。
• 大規模でスパarsityかつ不均衡な市民科学データセットにおける能力推定とアイテムパラメータ推論の精度を向上させる。
• 分散処理に適したコンSENSUSモンテカルロを用いた分割統治戦略により、大規模データに対するスケーラブルな推論を可能にする。
• 生態学的研究者が種の識別タスクにおける参加者の熟練度とアイテム難易度を評価できる、再現可能でオープンソースの実装を提供する。

提案手法

• 参加者の能力、アイテム難易度、当てずっぽうのパラメータを推定するため、線形ロジスティックテストモデル（LLTM）と項目反応理論（IRT）を用いたベイジアン階層モデルを採用する。
• 地理座標に基づく場所にわたるガウス過程または条件付き自己回帰（CAR）事前分布を用いて、生態学的データにおける空間的依存性を反映するアイテム難易度の空間的自己相関を組み込む。
• 種や立地固有の難易度をランダム効果としてモデル化し、どの種や場所が識別に難しいかを生態学的に解釈可能にする。
• Stanを用いてMCMCによる完全ベイジアン推論を実施し、大規模データセットにおけるモデル適合を、コンセンサスモンテカルロによる分散処理で強化する。
• 欠損データ下でも頑健な推論が可能となるように、観測された分類結果と潜在的参加者能力・アイテム特性を結びつける潜在変数回帰を適用する。
• 空間的またはユーザークラスタに応じてデータを分割し、個別にモデルを適合させ、事後分布推定値を再結合する分割統治戦略を実装することで、スケーラブルな推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 市民科学データからの生態学的アイテム難易度において、空間的自己相関を考慮したベイジアンIRTモデルは、どのように拡張可能か？
• RQ2 提示されたモデルは、シミュレート済みおよび現実の生態学的データセットにおいて、標準的なIRTモデルと比較して、推定精度と予測性能をどの程度向上させるか？
• RQ3 コンセンサスモンテカルロを用いた分割統治アプローチは、精度を損なわず、大規模でスパarsityな市民科学データセットにベイジアンIRTモデルを効果的にスケーリング可能か？
• RQ4 異なる生態的文脈や画像品質要因を考慮した場合、推定された参加者能力、種の難易度、当てずっぽうの行動はどのように変化するか？
• RQ5 実際のカメラトラップ研究において、推定されたアイテムパラメータから、画像品質、カメラ設定、種の類似性に関するどのような知見が得られるか？

主な発見

• 空間的自己相関を組み込んだ提案されたベイジアンIRTモデルは、シミュレート済みおよび実データの両方において、平均二乗誤差（RMSE）、正答率、広く適用可能な情報量基準（WAIC）の観点で、標準的なIRTモデルを顕著に上回る性能を示した。
• モデルは参加者の能力、種の難易度、当てずっぽうの行動を高い精度で推定でき、寄与の重み付けを改善し、分類タスクにおけるコンセンサスを向上させた。
• コンセンサスモンテカルロを用いた分割統治アプローチにより、大規模データセットにおけるスケーラブルな推論が可能となり、計算負荷を軽減しながらも精度を維持した。
• セレングエティ野生生物カメラトラップデータセットの事例研究から、特定の種が一貫して識別が難しいことが判明し、難易度の空間的パターンは生態的および写真的要因を反映していた。
• モデルは、劣悪な照明、低解像度、フラッシュ効果といった画像品質の問題を、異常なアイテム難易度推定値を通じて同定した。これは、技術的または環境的交絡要因を示唆する。
• Rパッケージ「staircase」が開発され、公開された。これは、生態学的市民科学データに対してこれらのモデルを適合させる、完全に再現可能でオープンソースのツールを提供する。