[論文レビュー] Sufficient Representations for Categorical Variables

Jonathan Johannemann, Vitor Hadad+2 more|arXiv (Cornell University)|Aug 26, 2019

Statistical Methods and Inference参考文献 29被引用数 11

ひとこと要約

本稿では、十分統計量の潜在状態仮定に基づき、高基数のカテゴリカル変数に対して次元が低く、情報が保持された表現を提案する。これにより、ワンホットエンコーディングの非効率性を回避しつつ、グループ効果を普遍的に一致した推定量でモデル化できる。低ランクおよびスパース低ランクエンコーディングなどの手法が、カテゴリ数の増加に伴い従来手法を上回ることを示している。

ABSTRACT

Many learning algorithms require categorical data to be transformed into real vectors before it can be used as input. Often, categorical variables are encoded as one-hot (or dummy) vectors. However, this mode of representation can be wasteful since it adds many low-signal regressors, especially when the number of unique categories is large. In this paper, we investigate simple alternative solutions for universally consistent estimators that rely on lower-dimensional real-valued representations of categorical variables that are "sufficient" in the sense that no predictive information is lost. We then compare preexisting and proposed methods on simulated and observational datasets.

研究の動機と目的

• 回帰および機械学習における高基数カテゴリカル変数に対するワンホットエンコーディングの非効率性に対処すること。
• すべての予測情報が保持される低次元の実数値表現を学習するフレームワークを構築すること。
• これらの表現を用いて普遍的に一貫した推定量を構築し、信号の損失やモデルの複雑さの増加なしに利用可能にすること。
• 特にカテゴリ数が多い状況において、シミュレーテッドおよび実世界のデータセットを用いて提案手法の性能を評価すること。
• 高基数カテゴリカル変数が一般的な因果推論、特に二重にロバストな処置効果推定において、応用を支援すること。

提案手法

• 十分な潜在状態仮定を導入：グループ所属 G_i が結果 Y_i に与える影響は、観測されない潜在変数 L_i を介してのみであり、直接的ではない。
• μ(x,g) = f(x, ψ(g)) を満たす表現写像 ψ: G → ℝ^k を定義し、予測情報の損失を回避する。
• 平均値、多項ロジスティック回帰（MNL）、低ランク、スパース低ランク因子分解を用いて ψ を学習するエンコーディング手法を提案する。
• 過学習を抑えるために、K-フォールド交差検証を用いて低ランクおよびスパース低ランク手法の最適な次元 k を選択する。
• 学習された ψ を用いてカテゴリカル変数をコン act な実数値ベクトルに変換し、標準回帰モデルへの適用を可能にする。
• ランダムフォレストやXGBoostなどの下流モデルにこれらの表現を統合し、実証的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 高基数カテゴリカル変数に対して、すべての予測情報を保持する低次元の実数値表現を学習できるか？
• RQ2 平均値、MNL、低ランクなどの異なるエンコーディング手法は、ワンホットエンコーディングと比較して、予測精度およびロバスト性においてどのように異なるか？
• RQ3 カテゴリ数の増加に伴い、これらの表現の性能が向上するか。特に、従来手法が非効率になる状況においては？
• RQ4 複雑で高基数のカテゴリカル特徴を持つ実世界のデータセットにおいて、これらの表現がモデル性能をどの程度向上させるか？
• RQ5 これらの表現は、因果推論パイプライン（例：二重にロバストな処置効果推定）において効果的に使用できるか？

主な発見

• 低ランクおよびスパース低ランクエンコーディング手法は、特にカテゴリ数が多いデータセットにおいて、回帰フォレストにおいてワンホットエンコーディングや他のベースラインを一貫して上回った。
• パキスタンの住宅データセットでは、回帰フォレストにおいて低ランクエンコーディングが平均二乗誤差（MSE）をワンホットエンコーディングと比較して17.4％低減した（MSE: 8.228 vs. 9.963）。
• XGBoostでは、低ランクおよびスパース低ランク手法はワンホットエンコーディングと比較して有意な性能低下を示さず、p値による有意差検定でも差がなかった。
• エイムズの住宅データセットでは、グループ数（|G|=25）に比べて予測変数の数が多かった（p=80）ため、代替エンコーディングの恩恵は限定的だった。
• 低ランク手法は、すべてのデータセットで最もロバストであった。これは、次元を小さく選択することで低ランク構造を捉え、ノイズを低減できるためと推察される。
• 十分な潜在状態仮定により、情報が保持された表現の開発が可能となり、提案手法の理論的基盤が裏付けられた。