[論文レビュー] Refactor Analysis: Predictive Evaluations of Factor Models and Dimensionality

Michael Hardy|arXiv (Cornell University)|Mar 21, 2026

Psychometric Methodologies and Testing被引用数 0

ひとこと要約

この論文は、データ回復性としての一元性を評価する Refactor および Verifactor 分析を導入し、複数の関連度指標を比較し、外部データに対する一般化を強調します。

ABSTRACT

Unidimensional factor models justify some of the most consequential summaries in science -- single scores, single ranks, and single leaderboards -- yet unidimensionality is usually assessed indirectly by fitting and evaluating models on images of the data (e.g., correlation matrices) rather than on the response matrix itself. We introduce Refactor analysis, a data-first evaluation paradigm that converts a one-factor solution into a rank-1 prediction of the original matrix by estimating both respondent- and item-side structure from dual association images. We further introduce Verifactor analysis, which evaluates the same construction under bi-cross-validated (BCV) row-column partitions for improved generalization. In simulations where the data-generating mechanism is truly rank-1 and correlational, Refactor metrics align with classical unidimensionality indices, validating the approach. However, across 200 public dichotomous datasets, traditional fit and unidimensionality measures, though highly intercorrelated, are weakly related to data recoverability, especially out of sample. This gap exposes a methodological vulnerability: excellent image-based fit can coexist with poor data-level explanatory power. Finally, treating the association measure itself as a testable hypothesis, we compare $ϕ$, tetrachoric, and quadrant correlation, $q^\prime$, an important reintroduction. Quadrant correlation emerges as a simple, interpretable, and remarkably robust alternative, yielding consistently stronger reconstruction and more stable behavior under sample-size variation than commonly used correlations. Together, Refactor and Verifactor shift unidimensionality assessment from "does a one-factor model fit the correlation matrix?" to the question that matters for measurement and benchmarking: does a one-factor dependence structure recover and generalize the observed responses?

研究の動機と目的

• 一元性評価を画像適合だけでなく回復可能性の問題としてMotivateする。
• Association images から導出される rank-1 表現からデータ行列を再構成するための Refactor 分析を導入する。
• Hold-out 行と列を用いた bi-cross-validated (BCV) 分割で Verifactor 分析を導入し、保持アウトの行列・列の一般化を評価する。
• Refactor/Verifactor フレームワークで異なる関連指標（例：Pearson、tetrachoric、quadrant）を比較する。
• 従来の画像ベースの一元性指標とデータレベルの回復性を合わせて解釈するための指針を提供する。）

提案手法

• Refactor 再構成を、 association images から導出された行側・列側のロードings を用いた rank-1 外積として定義する。
• データ X から行-wise および列-wise の association images を作成して A_r および A_c を構築する。
• A_r および A_c に対して次元削減演算子を用いてロードings u と v を取得する。
• X を X_hat = u v^T として再構成し、回復性を評価するために m(X, X_hat) を評価する。
• Verifactor は BCV ブロックを用いて行と列を保持アウトし、保持アウトブロックを tilde{A}_{ij}^{(A)} として予測し、折り重ね平均する。
• データベース回復尺度として等方性 R^2 を、画像ベースの一元性尺度として ECV を比較のために用いる。
• 回復性における不同の関連演算子 A（例：Pearson、tetrachoric、quadrant）の役割を論じる。

実験結果

リサーチクエスチョン

• RQ1 一因子モデルは画像適合を超えて観測応答を回復・一般化できるか？
• RQ2 Refactor および Verifactor の指標は従来の画像ベースの一元性指標（例：ECV）とどのように一致・乖離するか？
• RQ3 二値/順序データの再構成・予測に最も適切な関連指標はどれか？
• RQ4 等量性が単調な関係を仮定した場合、Isotonic R^2 は rank-1 表現の回復性指標として解釈可能か？
• RQ5 BCV ブロック予測を用いることは、ランダム行・列設計における一般化の評価にどのような影響を与えるか？

主な発見

• Refactor 指標は rank-1 のシミュレーションデータ設定では古典的な一元性指標と一致するが、実データでは画像適合とデータ回復性の間に乖離を示す。
• 200 の公開二値データセットを通じて、従来の適合指標はデータ回復性と弱く相関しており、画像ベースの評価の脆弱性を浮き彫りにする。
• Quadrant 相関は、Refactor/Verifactor フレームワークにおけるデータ再構成と予測の際、Pearson および tetrachoric 相関の堅牢な代替として現れる。
• Isotonic R^2 は潜在信号と観測応答の単調関係に対して最適な分散説明回復指標を提供する。
• Verifactor の BCV は、ランダム行/ランダム列設計における真の外部一般化を狙い、評価のリークと楽観的バイアスを減少させる。
• このフレームワークは一元性検定を画像適合から回復性と rank-1 構造の一般化へとシフトさせる。