[論文レビュー] Taxicab Correspondence Analysis of Sparse Contingency Tables

Vartan Choulakian|arXiv (Cornell University)|Aug 27, 2015

Sensory Analysis and Statistical Methods参考文献 18被引用数 4

ひとこと要約

本稿では、対応分析（CA）とタクシーカブ対応分析（TCA）の不変性の性質を活用して、分割表のスパarsityを定量化する7つの数値の要約を提案する。CAとTCAの幾何構造の違いにより、特に高値のセル、希少な観測、ゼロブロック構造を有するスパースな表では、CAのマップが歪められるのに対し、TCAはより解釈可能なマップを提供することが示された。

ABSTRACT

Visualization and interpretation of contingency tables by correspondence analysis (CA), as developed by Benzecri, has a rich structure based on Euclidean geometry. However, it is a well established fact that, often CA is very sensitive to sparse contingency tables, where we caracterize sparsity as the existence of relatively high-valued counts, rare observations discussed by Rao (1995), and zero-block structure emphasized by Novak and Bar-Hen (2005) and Greenacre (2013). In this paper, we aim to emphasize the important roles played by L1 and L2 geometries. This will be done by comparing the maps obtained by CA with the maps obtained by taxicab correspondence analysis (TCA), where TCA is a robust L1 variant of correspondence analysis. If the projections of view of both maps are quite different, we refer to this phenomenon as parallax. In astronomy, parallax means the apparent change in the position of an object as seen from two different points. In our case the two different points correspond to the two different geometries, Euclidean and Taxicab. The existence of a parallax highlights the important, but hidden, role of the underlying geometry in the interpretation of the maps obtained in multivariate data analysis. We emphasize the following fact: Only by comparing CA and TCA graphical displays, we are able to reveal the phenomenon of parallax. Examples are provided.

研究の動機と目的

• 古典的対応分析（CA）が、高値のセル、希少な観測、ゼロブロック構造を有するスパースな分割表に対して感受性を示す問題に対処すること。
• ユークリッド幾何ではなくL1幾何を用いることで、CAの代替としてロバストで解釈可能な手法を提供することを目的とするタクシーカブ対応分析（TCA）を活用すること。
• CAおよびTCAの不変性に基づく最小サイズの同値分割表を用いて、その構造的特徴（非ゼロセル数、行・列質量の分布など）から得られる7つの数値の要約を用いて、分割表のスパarsityを定量化すること。
• 10個の実データおよび合成データセットを用いて、スパarsityの程度が異なる条件下でCAとTCAのマップを実証的に比較し、類似性、部分的類似性、または相違性を評価すること。
• 研究者が与えられたスパースな分割表に対してCAとTCAのどちらがより適切であるかを評価するための診断フレームワークを提供すること。

提案手法

• 行および列の順列およびスケーリングに関してCAおよびTCAが不変であることに基づき、同値な分割表の集合を構築し、その中から最小サイズの代表的表を定義する。
• この同値クラスから導かれる構造的特徴（非ゼロセル数、行・列質量の分布など）に基づき、最小表サイズを根拠とした7つの数値のスパarsity要約を定義する。
• 同一の分割表に対してCAおよびTCAを適用し、特異値および分散尺度を計算することで、得られる2次元マップを比較する。
• TCAではL1ノルム（タクシーカブ距離）を用いて外れ値や高値セルへの感受性を低減する一方、CAではL2ノルム（ユークリッド距離）が用いられる。
• 特異値および最初の軸の分散尺度（σ₁^TCA）を分析し、ブロック対角構造や行・列のサブセットへの質量集中といった構造的パターンを検出する。
• 実データ（例：テクセルの生物多様性データ）および合成例を用いて、CAとTCAのマップを視覚的および定量的に比較し、マップの類似性または乖離度を評価する。

実験結果

リサーチクエスチョン

• RQ1 スパースな分割表において、CAとTCAがどのような条件下で類似、部分的に類似、または相違するマップを生成するか？
• RQ2 平均セル値やゼロの割合を超えて、分割表のスパarsityを体系的に定量化する方法は何か？
• RQ3 高値のセル、希少な観測、ゼロブロック構造の存在が、CAマップに対してTCAマップと比べてどの程度歪めを引き起こすか？
• RQ4 CA/TCA不変性に基づく最小同値表を根拠とした7つの数値の要約が、分割表のスパarsity構造を効果的に特徴づけられるか？
• RQ5 どのような状況下でTCAがCAよりも解釈可能または安定した可視化を提供するのか？

主な発見

• CAおよびTCAの不変性に基づく最小同値分割表から導かれた7つの数値のスパarsity要約は、ブロック構造や質量集中といった構造的特徴を捉えることのできるロバストで不変なスパarsity測度を提供する。
• テクセルの生物多様性データ（285×220）では、CAはデータを説明するために71次元を要し、特異値が1に近いことから高次元構造を示したが、TCAは分散尺度が減少（σ₁^TCA = 0.8026、σ₂^TCA = 0.7768）しており、より安定した低次元構造であることを示唆した。
• 要素が(1,2,3,4,6)の対角表では、CAは特異値が同一（σ₁^CA = 1）を示し、ブロック構造を示したが、TCAでは行質量の合計が0.5に等しいときのみσ₁^TCA = 1となり、理論的条件下での最大分散が確認された。
• 5×5の対角表（1,2,3,4,5）では、CAは再び一様な特異値（σ₁^CA = 1）を示したが、TCAでは分散が減少（σ₁^TCA = 0.99556、σ₂^TCA = 0.95714）しており、TCAが対称的な高値セルに対して感受性が低いことを示した。
• テクセルデータにおいてCAとTCAのマップは完全に異なっており、TCAマップはより一貫性のある構造を示しており、TCAが高スパarsity状況下でCAが隠してしまう意味のあるパターンを明らかにできることを示唆した。
• 本稿は、CAとTCAのマップが互いに補完的であり、特にスパースな表では両者が相違する確率が正であると結論づけ、スパースデータの解釈をより堅牢にするために両手法を併用する必要性を強調した。