[論文レビュー] Multinomial Multiple Correspondence Analysis

Patrick J. F. Groenen, Julie Josse|arXiv (Cornell University)|Mar 10, 2016

Sensory Analysis and Statistical Methods参考文献 20被引用数 5

ひとこと要約

本稿では、低ランク表現と最尤推定を主成分分析の確率的拡張として組み合わせる、多項分布多次元対応分析（MMCA）を提案する。核ノルム正則化を導入することで過学習を防ぎ、高次元のカテゴリカルデータの可視化と解釈を、統計的推論の原則に従って強固に可能にする。

ABSTRACT

Relations between categorical variables can be analyzed conveniently by multiple correspondence analysis (MCA). %It is well suited to discover relations that may exist between categories of different variables. The graphical representation of MCA results in so-called biplots makes it easy to interpret the most important associations. However, a major drawback of MCA is that it does not have an underlying probability model for an individual selecting a category on a variable. In this paper, we propose such probability model called multinomial multiple correspondence analysis (MMCA) that combines the underlying low-rank representation of MCA with maximum likelihood. An efficient majorization algorithm that uses an elegant bound for the second derivative is derived to estimate the parameters. The proposed model can easily lead to overfitting causing some of the parameters to wander of to infinity. We add the nuclear norm penalty to counter this issue and discuss ways of selecting regularization parameters. The proposed approach is well suited to study and vizualise the dependences for high dimensional data.

研究の動機と目的

• MCAの図的解釈可能性を保ちつつ、統計的原則に基づいた確率的モデルとしてのカテゴリカルデータ解析のためのモデルを開発すること。
• 従来のMCAに確率的モデルが欠如していることによる推論や統計的妥当性の制限を是正すること。
• 低ランク構造の正則化により、パラメータが無限大に発散する問題を回避し、高次元カテゴリカルデータにおける過学習を防止すること。
• 複数の多重代入戦略と互換性のある統一フレームワークを用いて、欠損値の効果的な処理を可能にすること。
• ヘッセ行列の2階微分に対するタイトなバウンドを用いたマジョライゼーションを用いた、スケーラブルで効率的なパラメータ推定アルゴリズムの提供。

提案手法

• カテゴリカル変数の多項分布尤度モデルを提案し、依存構造を捉えるために低ランク潜在ベクトルでパrameter化する。
• De Leeuw (2005) が導出した2次上界を用いたマジョライゼーション・ミニマイゼーションアルゴリズムを用い、収束性と計算効率を保証する。
• 分離性の問題に起因するパラメータ発散を防ぐために、低ランク構造に対する核ノルム正則化を実装する。
• ヘッセ行列の上界をゲルシュゴリン円盤理論を用いて導出し、2階テイラー展開に基づくマジョライジング関数を導出する。
• 最適化フレームワーク内に代入を統合することで、欠損データの処理を可能にし、複数の多重代入戦略をサポートする。
• ハイブリッド正則化戦略を採用：ランク選択には普遍的分位点しきい値処理を、スhrinkageパラメータのチューニングには交差検証を用いる。

実験結果

リサーチクエスチョン

• RQ1 複数対応分析に統計的推論を可能にしつつ図的解釈可能性を維持する確率的モデルを構築できるか？
• RQ2 パラメータが無限大に発散する可能性がある高次元カテゴリカルデータモデルにおいて、過学習をどのように防止できるか？
• RQ3 低ランク多項分布モデルにおける正則化パラメータの最適な選択方法は何か？
• RQ4 MMCAフレームワークを、原理的かつ計算的に効率的な方法で欠損データに対応できるように拡張できるか？
• RQ5 高次元設定において、ペナルティパラメータの選択がモデル選択と予測精度のバランスにどのように影響するか？

主な発見

• ヘッセ行列に対するタイトで解析的に導出された上界のおかげで、提案されたマジョライゼーションアルゴリズムは収束が信頼性高く、高速な最適化を実現する。
• 核ノルム正則化は、特にスパースまたは高次元のクロス集計表において、パラメータ発散と過学習を効果的に防止する。
• ランク選択に普遍的分位点しきい値処理、スジンゲパラメータチューニングに交差検証を組み合わせた戦略により、データ駆動型で堅牢な正則化が実現される。
• 大規模なアルコール使用アンケートデータを用いた実験により、高次元カテゴリカルデータの背後にある依存構造を効果的に回復できることを示した。
• 本手法は自然に欠損データ処理に拡張可能であり、複数の多重代入技術との統合を可能にし、実世界の応用における耐障害性を向上させる。