[論文レビュー] Probabilistically-autoencoded horseshoe-disentangled multidomain item-response theory models

Joshua C. Chang, Shashaank Vattikuti+1 more|arXiv (Cornell University)|Dec 5, 2019

Gaussian Processes and Bayesian Inference参考文献 28被引用数 4

ひとこと要約

本稿では、多次元項目反応理論（IRT）のための統一的でワンステップの確率的自己符号化フレームワークを提案する。このフレームワークは、事前に因子分析を実施する必要がないように、IRT内因数分解にスパース性を促進するホースシェーブ・パイオリを統合している。IRTをベイジアンニューラルネットワークエンコーダーを備えた確率的オートエンコーダーとして定式化することで、WAICを用いた安定性と次元選択の向上に加え、正確なスコアリングを維持するための事後分布の依存関係を保ちながら、解釈可能で分離可能な潜在的特徴の推定が可能となる。

ABSTRACT

Item response theory (IRT) is a non-linear generative probabilistic paradigm for using exams to identify, quantify, and compare latent traits of individuals, relative to their peers, within a population of interest. In pre-existing multidimensional IRT methods, one requires a factorization of the test items. For this task, linear exploratory factor analysis is used, making IRT a posthoc model. We propose skipping the initial factor analysis by using a sparsity-promoting horseshoe prior to perform factorization directly within the IRT model so that all training occurs in a single self-consistent step. Being a hierarchical Bayesian model, we adapt the WAIC to the problem of dimensionality selection. IRT models are analogous to probabilistic autoencoders. By binding the generative IRT model to a Bayesian neural network (forming a probabilistic autoencoder), one obtains a scoring algorithm consistent with the interpretable Bayesian model. In some IRT applications the black-box nature of a neural network scoring machine is desirable. In this manuscript, we demonstrate within-IRT factorization and comment on scoring approaches.

研究の動機と目的

• 多次元IRTにおける事前因子分析の必要性を排除するため、因子分析をIRTモデルに直接統合する。
• スパースコーディングのための階層ベイジアンフレームワークとホースシェーブ・パイオリを用いることで、潜在的特徴推定の安定性と解釈可能性を向上させる。
• IRT生成モデルとベイジアンニューラルネットワークエンコーダーを結合することで、確率的オートエンコーダーを形成し、新しい試験受験者の一貫したスコアリングを可能にする。
• 高利害な試験におけるニューラルネットワークスコアリングのブラックボックス性に対処するため、構造的変分推論またはMCMCにより事後分布の依存関係を保持する。
• WAICを用いた次元選択を支援することで、予測精度と不確実性の伝播に基づいたモデル選択を実現する。

提案手法

• 順序尺度の項目反応をモデル化するため、個人特有の特徴と項目特有のパラメータを持つ階層ベイジアンIRTモデル（順序反応モデル：GRM）を用いる。
• 項目-特徴負荷のスパース性を誘導するため、ホースシェーブ・パイオリを適用し、外部の因子分析を必要とせずに、IRTモデル内でのデータ駆動型因数分解を可能にする。
• IRTモデルを確率的デコーダーとして定式化し、ベイジアンニューラルネットワークエンコーダーと結合することで、確率的オートエンコーダー構造を構築する。
• スコアリング中に事後分布の依存関係を保持するため、構造的近似を用いた変分推論（ADVI）またはMCMCを採用し、一変量の平均場近似を避ける。
• 異なる数の潜在的特徴を持つモデルの比較と次元選択のため、WAICを用いる。これにより、モデル間の原理的比較が可能となる。
• 特に事後分布の依存関係が非自明な場合に正確な予測分布を保証するため、結合事後分布からのモンテカルロサンプリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 スパースコーディングを用いたIRT内因数分解は、多次元IRTにおける従来の事前因子分析を代替できるか？
• RQ2 因子分析をIRTモデルに直接統合することで、潜在的特徴推定の安定性と解釈可能性にどのような影響を与えるか？
• RQ3 確率的オートエンコーダー枠組みは、標準IRTやブラックボックス型ニューラルネットワークと比較して、スコアリングの正確性と一貫性をどの程度向上させるか？
• RQ4 複雑な事後分布依存関係を有する高次元IRTモデルにおいて、WAICは次元選択を効果的に導けるか？
• RQ5 階層ベイジアンモデルのプール特性は、線形因子分析と比較してIRTにおけるロバストネスをどのように向上させるか？

主な発見

• ホースシェーブ・パイオリを用いたIRT内因数分解は、特に項目がモデル間で完全に因子を変更する場合に、線形因子分析よりもより安定した項目負荷を達成した。
• 3次元IRTモデルは2次元モデルよりもわずかに高い予測精度を示したが、WAICの差は1標準誤差の範囲内であり、両モデルの性能は同等であることを示した。
• 道徳的・宗教的信念に関連する項目は、線形因子分析では最初の因子にグループ化されたが、IRT内因数分解では正しく2番目の因子に再分類され、内容ベースのドメイン構造とより良好に一致した。
• IRT内因数分解の2番目の次元は3番目の次元に部分的に漏れ出たが、線形因子分析では項目が完全に再割り当てされた。これにより、ベイジアンアプローチの優れたロバストネスが示された。
• MCMCまたは構造的変分推論が、事後分布の依存関係を保持するために不可欠であった。平均場近似では、誤った予測分布が得られた。
• 確率的オートエンコーダー枠組みは、ニューラルネットワーク推論による高速かつ解釈可能なスコアリングを可能にするとともに、ベイジアンIRTモデルの生成プロセスと一貫性を保った。