[論文レビュー] On Universal Features for High-Dimensional Learning and Inference

Shao‐Lun Huang, Anuran Makur+2 more|arXiv (Cornell University)|Nov 20, 2019

Neural Networks and Applications参考文献 123被引用数 31

ひとこと要約

本稿は、高次元データにおける普遍的な低次元特徴を同定するための統一的な情報幾何的フレームワークを導入し、主要な概念（標準相関、情報ボトルネック、特異値分解）の局所的同値性を示している。これらの手法が最適な推論と学習を可能にすることを明らかにし、ニューラルネットワーク、協調フィルタリング、半教師あり学習への応用を示している。

ABSTRACT

We consider the problem of identifying universal low-dimensional features from high-dimensional data for inference tasks in settings involving learning. For such problems, we introduce natural notions of universality and we show a local equivalence among them. Our analysis is naturally expressed via information geometry, and represents a conceptually and computationally useful analysis. The development reveals the complementary roles of the singular value decomposition, Hirschfeld-Gebelein-Rényi maximal correlation, the canonical correlation and principle component analyses of Hotelling and Pearson, Tishby's information bottleneck, Wyner's common information, Ky Fan $k$-norms, and Brieman and Friedman's alternating conditional expectations algorithm. We further illustrate how this framework facilitates understanding and optimizing aspects of learning systems, including multinomial logistic (softmax) regression and the associated neural network architecture, matrix factorization methods for collaborative filtering and other applications, rank-constrained multivariate linear regression, and forms of semi-supervised learning.

研究の動機と目的

• 高次元データにおける普遍的な低次元特徴を同定する理論的基盤を確立すること。
• SVD、標準相関、情報ボトルネックなどの多様な統計的・機械学習的手法を、共通の情報幾何的フレームワークの下で統合すること。
• さまざまな学習設定における特徴抽出における普遍性の異なる概念の間の局所的同値性を示すこと。
• このフレームワークが、ニューラルネットワークや協調フィルタリングを含む学習システムの理解と最適化をどのように向上させるかを示すこと。
• 特徴抽出手法の適用範囲をランク制約回帰および半教師あり学習に拡張すること。

提案手法

• 指数型分布族における十分統計量と特徴を結びつける情報幾何的原則を用いて、普遍性を形式化する。
• ヒルシュフェルド＝ゲーベレイン＝レニーの最大相関とキ・ファン $k$-ノルムを用いて、依存性と次元削減を特徴づける。
• ウィナーの共通情報とティシュビの情報ボトルネックを、提案されたフレームワーク内の特別なケースとして統合する。
• 特徴変換を反復的に最適化するために、交互条件期待値（ACE）アルゴリズムを適用する。
• 標準相関分析と主成分分析を用いて、共有される低次元部分空間を同定する。
• 特徴抽出と十分統計量の間の幾何的双対性を確立し、根拠に基づいた次元削減を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次元学習と推論における普遍的な低次元特徴とは何か？
• RQ2 情報幾何的視点から、標準相関、情報ボトルネック、SVDはどのように関連しているか？
• RQ3 PCA、CCA、ACEなどの多様な特徴抽出手法を1つのフレームワークで統合できるか？
• RQ4 キ・ファン $k$-ノルムと共通情報は、普遍的特徴を定義するために果たす役割は何か？
• RQ5 このフレームワークは、ソフトマックス回帰や協調フィルタリングのようなモデルの最適化をどのように向上させるか？

主な発見

• 本稿は、標準相関、情報ボトルネック、SVDに基づく、特徴抽出における普遍性の複数の概念の間で局所的同値性を確立した。
• 情報ボトルネックと共通情報が、相互情報量と $k$-ノルムに根ざしたより広範な幾何的フレームワークの特別なケースであることを示した。
• 最適な特徴空間が、連合データ表現における主要な特異ベクトルが張る部分空間に一致することを明らかにした。
• 多項ロジスティック回帰とそのニューラルネットワーク版が、この普遍的特徴フレームワークの具体例として解釈できることを示した。
• 標準相関とランク制約を用いた特徴空間の整合化により、協調フィルタリングにおける性能が向上した。
• ACEアルゴリズムが、提示された幾何的制約のもとで最適な特徴変換に収束することが示され、非線形特徴学習におけるその役割が裏付けられた。