[논문 리뷰] Taxicab Correspondence Analysis of Sparse Contingency Tables

Vartan Choulakian|arXiv (Cornell University)|2015. 08. 27.

Sensory Analysis and Statistical Methods참고 문헌 18인용 수 4

한 줄 요약

이 논문은 대응분석(CA)과 택시메터 대응분석(TCA)의 불변성 성질을 활용하여 7개 수치 요약을 제안하여 연관표의 희소성(스퍼스티)을 정량화한다. TCA는 CA의 대체로 사용되는 L1 기반의 강건한 방법이며, CA는 높은 카운트, 희귀 관측치 또는 영 블록 구조로 인해 왜곡될 수 있음에도 불구하고, TCA는 이러한 상황에서 더 해석 가능한 지도를 제공함을 보여준다.

ABSTRACT

Visualization and interpretation of contingency tables by correspondence analysis (CA), as developed by Benzecri, has a rich structure based on Euclidean geometry. However, it is a well established fact that, often CA is very sensitive to sparse contingency tables, where we caracterize sparsity as the existence of relatively high-valued counts, rare observations discussed by Rao (1995), and zero-block structure emphasized by Novak and Bar-Hen (2005) and Greenacre (2013). In this paper, we aim to emphasize the important roles played by L1 and L2 geometries. This will be done by comparing the maps obtained by CA with the maps obtained by taxicab correspondence analysis (TCA), where TCA is a robust L1 variant of correspondence analysis. If the projections of view of both maps are quite different, we refer to this phenomenon as parallax. In astronomy, parallax means the apparent change in the position of an object as seen from two different points. In our case the two different points correspond to the two different geometries, Euclidean and Taxicab. The existence of a parallax highlights the important, but hidden, role of the underlying geometry in the interpretation of the maps obtained in multivariate data analysis. We emphasize the following fact: Only by comparing CA and TCA graphical displays, we are able to reveal the phenomenon of parallax. Examples are provided.

연구 동기 및 목표

• 고전적 대응분석(CA)이 높은 값의 셀, 희귀 관측치, 영 블록 구조를 포함한 희소 연관표에 민감한 데 대비하여 이를 다루기 위한 목적이 있다.
• 유럽 기하학이 아닌 L1 기하학을 사용하는 택시메터 대응분석(TCA)을 활용하여 희소 데이터에 대한 강건하고 해석 가능한 CA의 대체 방법을 개발하기 위한 목적이 있다.
• CA와 TCA의 불변성에 기반한 등가 연관표의 최소 크기를 바탕으로 7개 수치 요약을 통해 연관표의 희소성 구조를 정량화하기 위한 목적이 있다.
• 실제 및 시뮬레이션 데이터 10종에 대해 CA와 TCA 지도를 실증적으로 비교하여 다양한 희소성 조건 하에서 유사성, 부분 유사성 또는 이질성을 평가하기 위한 목적이 있다.
• 연구자들이 주어진 희소 연관표에 대해 CA와 TCA 중 어느 것이 더 적합한지 평가할 수 있도록 진단 프레임워크를 제공하기 위한 목적이 있다.

제안 방법

• 행과 열의 순열 및 스케일링에 대해 CA와 TCA가 불변임을 활용하여 연관표의 등가 클래스를 구성함으로써 최소 크기의 대표 연관표를 정의한다.
• 이 등가 클래스에서 유도된 구조적 특성(예: 비영 셀 수, 행/열 질량 분포 등)과 최소 표본 크기를 기반으로 희소성의 7개 수치 요약을 정의한다.
• 동일한 연관표에 대해 CA와 TCA를 적용하여 특이값과 산란 측도를 계산함으로써 양자리 지도를 비교한다.
• TCA에서는 L1 노름(택시메터 거리)을 사용하여 이상치나 높은 값의 셀에 대한 민감도를 감소시키며, CA는 유럽 기하학에서 사용하는 L2(유클리드) 노름과 대비한다.
• 특이값과 첫 번째 축 산란 측도(σ₁^TCA)를 분석하여 블록 대각형 구조나 행/열의 일부 집합에서 질량 집중 등의 구조적 패턴을 탐지한다.
• 실제 데이터(예: Texel 생물다양도 데이터)와 시뮬레이션 예제를 사용하여 CA와 TCA 지도를 시각적·정량적으로 비교함으로써 지도의 유사성 또는 분리 정도를 평가한다.

실험 결과

연구 질문

• RQ1 희소 연관표에서 CA와 TCA가 유사한, 부분적으로 유사한, 또는 이질적인 지도를 생성하는 조건는 무엇인가?
• RQ2 평균 셀 수나 영 셀 비율을 넘어서 희소성의 체계적 정량화 방법은 무엇인가?
• RQ3 높은 값의 셀, 희귀 관측치 또는 영 블록 구조가 CA 지도에 미치는 왜곡 정도가 TCA 지도에 비해 어느 정도인가?
• RQ4 CA/TCA 불변성 하에서의 최소 등가 연관표를 기반으로 한 7개 수치 요약이 연관표의 희소성 구조를 효과적으로 특성화할 수 있는가?
• RQ5 어떤 상황에서 TCA가 CA보다 더 해석 가능하거나 안정적인 시각화를 제공하는가?

주요 결과

• CA/TCA 불변성 하에서 유도된 최소 등가 연관표를 기반으로 한 7개 수치 요약은 블록 구조나 질량 집중과 같은 구조적 특징을 포괄하는 강건하고 불변인 희소성 측도를 제공한다.
• Texel 생물다양도 데이터(285×220)의 경우, CA는 데이터를 설명하기 위해 71차원이 필요했으며, 특이값이 1에 가까워 고차원적 구조임을 시사했고, TCA는 감소하는 산란 측도(σ₁^TCA = 0.8026, σ₂^TCA = 0.7768)를 보여, 더 안정적이고 저차원적 구조임을 시사한다.
• 입력이 (1,2,3,4,6)인 대각형 표에서 CA는 동일한 특이값(σ₁^CA = 1)을 생성하여 블록 구조를 반영했고, TCA는 행 질량의 합이 0.5일 때에만 σ₁^TCA = 1을 보였으며, 이는 최대 산란을 위한 이론적 조건을 확인한다.
• 5×5 대각형 표(1,2,3,4,5)에서 CA는 다시 한번 동일한 특이값(σ₁^CA = 1)을 생성했지만, TCA는 감소하는 산란(σ₁^TCA = 0.99556, σ₂^TCA = 0.95714)을 보여, TCA가 대칭적인 높은 값의 셀에 덜 민감함을 시사한다.
• Texel 데이터셋에서 CA와 TCA 지도는 완전히 다름을 확인했으며, TCA 지도는 더 일관된 구조를 보여, TCA가 고희소 조건에서 CA가 가려버리는 의미 있는 패턴을 드러낼 수 있음을 시사한다.
• 논문은 CA와 TCA 지도가 상호 보완적이며, 희소 표에 대해서는 이들이 이질적일 가능성이 긍정적으로 존재함을 결론 내리며, 강건한 해석을 위해 두 방법을 함께 사용할 필요성을 강조한다.