[論文レビュー] A probabilistic framework for multi-view feature learning with many-to-many associations via neural networks

Akifumi Okuno, Tetsuya Hada+1 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、非線形特徴変換と複数のデータビュー間の多対多関連性を同時にモデル化するニューラルネットワークベースのフレームワーク、確率的マルチビュー・グラフ埋め込み（PMvGE）を提案する。ミニバッチ確率的勾配降下法（SGD）を用いた尤度ベースの目的関数により、埋め込み特徴ベクトルの内積を通じて柔軟な類似度測度を学習し、既存手法に比べてマルチビュー表現学習で優れた性能を発揮する。これは、CCA、CDMCA、およびグラフ埋め込み手法を一般化する。

ABSTRACT

A simple framework Probabilistic Multi-view Graph Embedding (PMvGE) is proposed for multi-view feature learning with many-to-many associations so that it generalizes various existing multi-view methods. PMvGE is a probabilistic model for predicting new associations via graph embedding of the nodes of data vectors with links of their associations. Multi-view data vectors with many-to-many associations are transformed by neural networks to feature vectors in a shared space, and the probability of new association between two data vectors is modeled by the inner product of their feature vectors. While existing multi-view feature learning techniques can treat only either of many-to-many association or non-linear transformation, PMvGE can treat both simultaneously. By combining Mercer's theorem and the universal approximation theorem, we prove that PMvGE learns a wide class of similarity measures across views. Our likelihood-based estimator enables efficient computation of non-linear transformations of data vectors in large-scale datasets by minibatch SGD, and numerical experiments illustrate that PMvGE outperforms existing multi-view methods.

研究の動機と目的

• 既存のマルチビュー手法が非線形変換とデータビュー間の複雑な多対多関連性を同時に扱えないという制限を解決すること。
• 正規化相関分析（CCA）、マルチビュー CCA（MCCA）、および CDMCA や SGE のようなグラフ埋め込み手法を一般化する統一された確率的フレームワークを構築すること。
• 尤度ベース推定器と効率的なミニバッチ SGD 最適化を用いて、新しいデータポイントの誘導的特徴学習を可能にすること。
• 汎用近似定理とメルサールの定理を組み合わせることで、PMvGE が広範な類似度測度クラスを学習できることを証明すること。

提案手法

• PMvGE はニューラルネットワークを用いてマルチビューのデータベクトルを共有特徴空間にマップし、埋め込みベクトルの内積によって関連性をモデル化する。
• フレームワークは尤度ベースの目的関数を採用し、非線形変換を推定することで、ミニバッチ確率的勾配降下法（SGD）による効率的な学習を可能にする。
• 任意の数のビュー（Nv = D）、非線形マッピング（NL）、多対多関連性（MM）、および誘導的推論（Ind）を許容することで、CCA や CDMCA を一般化する。
• メルサールの定理と汎用近似定理を組み合わせることで、PMvGE がビュー間で広範な類似度測度をモデル化できることを理論的に示す。
• 効率的な最適化を可能にするために、対数尤度の二次近似が導出され、回転不変性制約が対角化された共分散行列を介して強制される。
• 最終的な解は正規化グラフラプラシアン行列上の一般化固有値問題として導出され、特徴ベクトルは固有値でスケーリングされて解釈可能性を保持する。

実験結果

リサーチクエスチョン

• RQ1 非線形変換とマルチビューデータにおける多対多関連性を同時に扱える統一された確率的フレームワークを開発できるか？
• RQ2 PMvGE の尤度ベース目的関数を、大規模データセット上でミニバッチ SGD を用いてどのように効率的に最適化できるか？
• RQ3 PMvGE が CCA、CDMCA、GCN などの既存のマルチビューおよびグラフ埋め込み手法をどの程度一般化できるか？
• RQ4 PMvGE がビュー間の類似度測度学習に対してどのような理論的保証を提供するか？
• RQ5 PMvGE の性能は、マルチビュー表現学習タスクにおける最先端手法と比べてどの程度優れているか？

主な発見

• PMvGE は、任意のビュー数、非線形性、多対多関連性、および誘導的推論をサポートすることで、CCA、CDMCA、GCN、GraphSAGE を含む13種類の既存のマルチビューおよびグラフ埋め込み手法を一般化する。
• 数値実験において優れた性能を示し、頑健で転移可能な特徴表現を学習する既存のマルチビュー手法を上回る。
• 尤度ベース推定器により、大規模データセット上でのミニバッチ SGD を用いた効率的な学習が可能となり、スケーラビリティが確保される。
• 理論的分析から、メルサールの定理と汎用近似定理の組み合わせにより、PMvGE が広範な類似度測度クラスを学習できることを示す。
• 解はスケーリング要因を除いて、修正された CDMCA 法と等価であり、特徴ベクトルは正規化グラフラプラシアン行列の固有値の平方根でスケーリングされる。
• 本手法は共有空間で回転不変性を維持し、最適解はグラフラプラシアン行列の一般化固有値分解により導出される。