[論文レビュー] Correspondence Analysis Using Neural Networks

Hsiang Hsu, Salman Salamatian+1 more|arXiv (Cornell University)|Feb 21, 2019

Sensory Analysis and Statistical Methods被引用数 3

ひとこと要約

本稿では、主慣性成分（PICs）を用いて対応分析（CA）を再定式化することで、離散的・連続的データの両方においてスケーラブルで高次元なCAを可能にする深層学習フレームワークCA-NNを提案する。CA-NNは、ニューラルネットワーク上の関数的最適化問題としてCAを定式化し、主関数を効率的に近似する。合成データ、レシピ、ワイン、画像データにおいて、従来のSVDベースのCAよりも優れた分散の捉え方と解釈可能性を示した。

ABSTRACT

Correspondence analysis (CA) is a multivariate statistical tool used to visualize and interpret data dependencies. CA has found applications in fields ranging from epidemiology to social sciences. However, current methods used to perform CA do not scale to large, high-dimensional datasets. By re-interpreting the objective in CA using an information-theoretic tool called the principal inertia components, we demonstrate that performing CA is equivalent to solving a functional optimization problem over the space of finite variance functions of two random variable. We show that this optimization problem, in turn, can be efficiently approximated by neural networks. The resulting formulation, called the correspondence analysis neural network (CA-NN), enables CA to be performed at an unprecedented scale. We validate the CA-NN on synthetic data, and demonstrate how it can be used to perform CA on a variety of datasets, including food recipes, wine compositions, and images. Our results outperform traditional methods used in CA, indicating that CA-NN can serve as a new, scalable tool for interpretability and visualization of complex dependencies between random variables.

研究の動機と目的

• 大規模で高次元的、あるいは連続的データに対して従来の対応分析（CA）に見られるスケーラビリティおよび適用性の制限を克服すること。
• 主慣性成分（PICs）を用いてCAを関数的最適化問題として再定式化し、整合的な情報理論的基盤を提供すること。
• 離散的および連続的確率変数の両方に対してPICの主関数を効率的に近似できるニューラルネットワークベースの手法（CA-NN）を開発すること。
• 食品レシピ、ワインの組成、画像データを含む多様な実世界データセットにおいてCA-NNを検証し、優れた性能と解釈可能性を示すこと。

提案手法

• 主慣性成分（PICs）を用いて、2つの確率変数の有限分散関数上での関数的最適化問題としてCAを再定式化する。
• PIC理論から導かれる二次的最適化問題の解として主関数を表現する。
• 多層ニューラルネットワークを用いて最適関数を近似し、高次元データにおけるスケーラブルな学習を可能にする。
• 入力変数の射影間の相関を最大化するようにCA-NNをエンドツーエンドのバックプロパゲーションで学習させ、依存構造を効果的に捉える。
• エンコーダーネットワークを用いて、統計的依存関係を保持する低次元表現に入力特徴をマッピングする。
• 学習された主関数を用いて、変数間の関係を解釈可能な二次元可視化として生成する。

実験結果

リサーチクエスチョン

• RQ1 主慣性成分（PICs）を用いて対応分析を関数的最適化問題として再定式化することで、高次元データへのスケーラビリティを実現できるか？
• RQ2 ニューラルネットワークは、離散的および連続的確率変数の両方に対してPICから導かれる主関数を効果的に近似できるか？
• RQ3 提案されたCA-NN手法は、実世界のデータセットにおいて、分散と依存構造を捉える点で従来のSVDベースのCAを上回るか？
• RQ4 CA-NNは、食品レシピやワインの組成のような複雑なデータにおいて、意味のあるクラスターや解釈可能なパターンをどの程度可視化できるか？
• RQ5 連続的特徴や高次元画像データなど、分割表が不適切なデータタイプにおいて、CA-NNはどの程度一般化できるか？

主な発見

• CA-NNは、従来の分割表ベースのCAが不適切となるMNIST や CIFAR-10 などの高次元連続的データに対しても、対応分析を効果的に行うことができた。
• Kaggle What’s Cookingデータセットでは、東南アジア、西洋、インド料理の3つの明確なクラスタが可視化され、カレー、トルティーヤなどの特徴的な材料がそれぞれの料理に一致していた。
• UCIワイン品質データセットでは、ワインの品質に3つのサブクラスタ（低品質、中品質、高品質）が特定され、高品質ワインはクエン酸と揮発性酸性度が低く、硫酸塩濃度が高いことが明らかになった。
• 他の深層学習ベースのCA手法とは異なり、手動でのカーネル選択を必要とせず、最初の2つの主関数においてより高い相関と分散を捉えた。
• ワイン品質の因子平面における線形補間パスは、低品質から高品質ワインへの妥当な遷移経路を示し、特徴量の変化が品質評価に与える影響を明らかにした。
• ノイズの多いMNISTおよびCIFAR-10データにおいてもCA-NNは頑健な性能を示し、高次元の入力と特徴量のノイズにもかかわらず、意味のある低次元可視化を生成した。