[논문 리뷰] Correspondence Analysis Using Neural Networks

Hsiang Hsu, Salman Salamatian외 1명|arXiv (Cornell University)|2019. 02. 21.

Sensory Analysis and Statistical Methods인용 수 3

한 줄 요약

이 논문은 주어진 데이터 유형에 관계없이 확장 가능하고 고차원적인 대응분석을 가능하게 하는 딥러닝 프레임워크 CA-NN을 제안한다. 이는 주로 주요 관성 성분(PICs)을 사용하여 대응분석(CA)을 재구성함으로써 이루어지며, 이는 이산형 및 연속형 데이터 모두에서 효율적인 주요 기능 근사화를 가능하게 한다. 신경망을 통한 기능 최적화 문제로 CA를 재정의함으로써 CA-NN은 기존의 SVD 기반 CA보다도 더 높은 분산 포괄성과 해석 가능성으로 인해 합성 데이터, 요리 레시피, 포도주, 이미지 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Correspondence analysis (CA) is a multivariate statistical tool used to visualize and interpret data dependencies. CA has found applications in fields ranging from epidemiology to social sciences. However, current methods used to perform CA do not scale to large, high-dimensional datasets. By re-interpreting the objective in CA using an information-theoretic tool called the principal inertia components, we demonstrate that performing CA is equivalent to solving a functional optimization problem over the space of finite variance functions of two random variable. We show that this optimization problem, in turn, can be efficiently approximated by neural networks. The resulting formulation, called the correspondence analysis neural network (CA-NN), enables CA to be performed at an unprecedented scale. We validate the CA-NN on synthetic data, and demonstrate how it can be used to perform CA on a variety of datasets, including food recipes, wine compositions, and images. Our results outperform traditional methods used in CA, indicating that CA-NN can serve as a new, scalable tool for interpretability and visualization of complex dependencies between random variables.

연구 동기 및 목표

• 대규모, 고차원 또는 연속형 데이터셋에서 기존 대응분석(CA)의 확장성과 적용 가능성에 한계가 있음을 해결하기 위해.
• 주요 관성 성분(PICs)을 사용하여 CA를 기능 최적화 문제로 재구성함으로써 정보 이론적 기반을 체계적으로 제공하기 위해.
• 이산형 및 연속형 랜덤 변수 모두에 대해 PIC의 주요 기능을 효율적으로 근사화하는 신경망 기반 방법(CA-NN)을 개발하기 위해.
• 식품 레시피, 포도주 성분, 이미지 데이터 등 다양한 실제 데이터셋에서 CA-NN을 검증하여 우수한 성능과 해석 가능성의 가능성을 입증하기 위해.

제안 방법

• 주요 관성 성분(PICs)을 사용하여 두 개의 랜덤 변수에 대한 유한 분산 함수의 기능 최적화 문제로 CA를 재구성한다.
• PIC 이론에서 유도된 이차 최적화 문제의 해로 주요 기능을 표현한다.
• 다층 신경망을 사용하여 최적의 함수를 근사함으로써 고차원 데이터에서의 확장 가능한 학습을 가능하게 한다.
• 입력 변수의 투영된 변수 간 상관관계를 최대화하도록 CA-NN을 엔드 투 엔드 백프로파게이션을 통해 훈련함으로써 의존성 구조를 효과적으로 포착한다.
• 입력 특징을 통합하여 통계적 의존성을 유지하는 저차원 표현을 생성하는 인코더 네트워크를 사용한다.
• 학습된 주요 기능을 적용하여 변수 간 관계의 해석 가능한 2차원 시각화를 생성한다.

실험 결과

연구 질문

• RQ1 주요 관성 성분을 사용하여 대응분석을 기능 최적화 문제로 재구성할 수 있는가? 이를 통해 고차원 데이터로의 확장이 가능할까?
• RQ2 신경망은 이산형 및 연속형 랜덤 변수 모두에 대해 PIC에서 유도된 주요 기능을 효과적으로 근사화할 수 있는가?
• RQ3 제안된 CA-NN 방법은 실제 데이터셋에서 분산과 의존성 구조를 포착하는 데 기존의 SVD 기반 CA보다 뛰어나게 성능을 발휘하는가?
• RQ4 식품 레시피나 포도주 성분과 같은 복잡한 데이터에서 CA-NN은 의미 있는 군집과 해석 가능한 패턴을 얼마나 잘 시각화할 수 있는가?
• RQ5 연속형 특징이나 고차원 이미지 데이터와 같이 도수표가 불가능한 다양한 데이터 유형에서 CA-NN은 얼마나 잘 일반화되는가?

주요 결과

• CA-NN은 기존의 도수표 기반 CA가 불가능한 고차원 연속형 데이터, 예를 들어 MNIST와 CIFAR-10에서 성공적으로 대응분석을 수행하였다.
• Kaggle What’s Cooking 데이터셋에서 CA-NN은 동아시아, 서유럽, 인도 요리로 분리되는 해석 가능한 군집을 드러내었으며, 카레나 토르티야와 같은 특징 성분이 각 요리 유형과 잘 대응됨을 확인하였다.
• UCI 포도주 품질 데이터셋에서 CA-NN은 품질이 열등, 중간, 양호로 나뉘는 세 개의 하위 군집을 식별하였고, 높은 품질의 포도주는 낮은 시트르산과 비휘발성 산도를 가지지만, 황산염 농도는 높은 것으로 나타났다.
• 기타 딥러닝 기반 CA 방법과 비교해 CA-NN은 수동 커널 선택 없이도 첫 두 주요 기능에서 더 높은 상관관계와 분산을 포착하였다.
• 포도주 품질의 인과 평면에서의 선형 보간 경로는 낮은 품질에서 높은 품질로 가는 타당한 경로를 보여주었으며, 이는 특징 변화가 품질 인식에 어떻게 영향을 주는지를 설명한다.
• 노이즈가 많은 MNIST와 CIFAR-10에서도 CA-NN은 높은 입력 차원성과 특징 노이즈에도 불구하고 의미 있는 저차원 시각화를 생성하며 뛰어난 성능을 보였다.