[論文レビュー] A new specification of generalized linear models for categorical data

Jean Peyhardi, Catherine Trottier+1 more|arXiv (Cornell University)|Apr 29, 2014

Bayesian Modeling and Causal Inference参考文献 5被引用数 9

ひとこと要約

本稿は、カテゴリカルデータの一般化線形モデル（GLMs）のための統一的$(r, F, Z)$三重項仕様を提案する。リンク関数を累積分布関数$F$、確率比$r$、およびデザイン行列$Z$に分解する。名目尺度データのための新しい参照モデル族を、既存の順序尺度モデルに類似した形で導入し、不変性および可逆性の性質を確立する。ベンチマークデータおよび生物学的データを用いた実験により、このフレームワークがカテゴリカル応答における部分順序の回復を可能にし、特に非対称なCDF（例：Gumbel max）を用いることで、モデル比較の強固さを実現することを示した。

ABSTRACT

Regression models for categorical data are specified in heterogeneous ways. We propose to unify the specification of such models. This allows us to define the family of reference models for nominal data. We introduce the notion of reversible models for ordinal data that distinguishes adjacent and cumulative models from sequential ones. The combination of the proposed specification with the definition of reference and reversible models and various invariance properties leads to a new view of regression models for categorical data.

研究の動機と目的

• 名目尺度および順序尺度のカテゴリカルデータにおける、分散した回帰モデルを、単一で均一な仕様に統一すること。
• 従来、ロジスティックCDFに限定されていた多項ロジスティック回帰モデルを、任意の累積分布関数$F$を許容することで一般化し、名目尺度データのための新しい参照モデル族を構築すること。
• カテゴリの順列置換における不変性と可逆性の概念を用いて、隣接モデル、累積モデル、逐次モデルの違いを明確にすること。
• 統一フレームワークに基づく新しい教師あり分類器族を開発し、ベンチマークおよび生物学的データセットで評価すること。
• 一部の順序情報しか与えられていないペアの木データセットにおいて、部分順序情報を利用して逐次モデルと非対称CDF（例：Gumbel max）を用いて、全順序を回復すること。

提案手法

• リンク関数を確率比$r$と累積分布関数$F$に分解し、デザイン行列$Z$と組み合わせて$(r, F, Z)$三重項を構成する、新しい分解法を提案する。
• $r$（例：ベースラインカテゴリ比）を固定し、$F$と$Z$を変化させることで、名目尺度データのための参照モデルを定義し、多項ロジスティック回帰モデルを一般化する。
• カテゴリの順列置換における不変性に基づき、逐次モデル（非可逆）と隣接・累積モデル（可逆）を区別するための、可逆モデルの概念を導入する。
• カテゴリの順列置換におけるモデルの不変性特性を分析し、累積モデルや隣接モデルのように特定のモデル族のみがこのような変換に対して構造を保つことを示す。
• BIC基準を用いてデザイン行列$Z$を選択し、特に非対称CDF（例：Gumbel max）を用いることで対称性を破り、互いに同等と見なされるモデルを区別できるように、カテゴリ順列のすべての置換について対数尤度を比較する。
• 5つの腋芽形態を有するペアの木データセットにこのフレームワークを適用し、$l < u < U$および$l < s < S$という部分順序制約下で、すべての有効な順列を検討。$F$としてGumbel maxを用いた逐次モデルを用い、全順序を推定する。

実験結果

リサーチクエスチョン

• RQ1 名目尺度および順序尺度のカテゴリカルデータのための一般化線形モデルを、同一の仕様で統一することは可能か？
• RQ2 多項ロジスティック回帰モデルは、ロジスティックCDFに限定されず、名目尺度データのための整合的な参照モデル族を形成できるか？
• RQ3 カテゴリの順列置換における可逆性および不変性の観点から、逐次モデルと隣接・累積モデルの主な違いは何か？
• RQ4 部分順序情報が与えられたカテゴリカル応答において、モデル族および不変性特性を活用して全順序を回復する方法は何か？
• RQ5 提案されたフレームワークは、ベンチマークおよび現実の生物学的データセットにおける教師あり分類性能を向上させることができるか？

主な発見

• 提案された$(r, F, Z)$三重項仕様は、名目尺度および順序尺度データの既存モデルを効果的に統一し、モデル族間の直接比較を可能にした。
• 固定された$r$と変化する$F$および$Z$を用いて定義される名目尺度データの新しい参照モデル族は、ロジスティックCDFに限定されない多項ロジスティック回帰モデルの一般化を実現した。
• 可逆性の概念により、逐次モデル（非可逆）と隣接・累積モデル（可逆）を明確に区別でき、それぞれの解釈および限界を明確にした。
• カテゴリの順列置換における不変性は、特定のモデル族（例：累積、隣接）に限定して成立する。一方、逐次モデルはこのような変換に対して不変ではない。
• ペアの木データセットにおいて、3番目の順列$ \sigma^* = \{l, u, U, s, S\}$が、複数の評価基準で一貫して最適と判定された。これは、無棘の短い芽（u）が棘のある短い芽（s）よりも発生が早い発生順序を示している。
• 非対称なGumbel max CDFを用いることで、互いに同等と見なされるモデルを区別でき、最良の対数尤度が$ \sigma^*$順列下で達成された。これにより、推定された順序が裏付けられた。