[論文レビュー] Predicting Pairwise Relations with Neural Similarity Encoders

Franziska Horn, Klaus‐Robert Müller|arXiv (Cornell University)|Feb 6, 2017

Neural Networks and Applications参考文献 56被引用数 7

ひとこと要約

この論文では、入力特徴量から埋め込みへのマッピングを学習することで、埋め込みベクトルの内積が対応する類似度を近似するように、低次元で類似度を保全する埋め込みを学習する、新しいニューラルネットワークアーキテクチャであるSimEcを紹介する。スペクトル手法とは異なり、SimEcはカーネル関数を必要とせず、未知のサンプルに対する予測が可能であり、欠損値の処理が可能で、非メトリック類似度とマルチリレーション予測をサポートし、ベンチマークデータセットで最先端の性能を達成している。

ABSTRACT

Matrix factorization is at the heart of many machine learning algorithms, for example, dimensionality reduction (e.g. kernel PCA) or recommender systems relying on collaborative filtering. Understanding a singular value decomposition (SVD) of a matrix as a neural network optimization problem enables us to decompose large matrices efficiently while dealing naturally with missing values in the given matrix. But most importantly, it allows us to learn the connection between data points' feature vectors and the matrix containing information about their pairwise relations. In this paper we introduce a novel neural network architecture termed Similarity Encoder (SimEc), which is designed to simultaneously factorize a given target matrix while also learning the mapping to project the data points' feature vectors into a similarity preserving embedding space. This makes it possible to, for example, easily compute out-of-sample solutions for new data points. Additionally, we demonstrate that SimEc can preserve non-metric similarities and even predict multiple pairwise relations between data points at once.

研究の動機と目的

• 既知のカーネル関数に依存せずに、ペアワイズ関係から類似度を保全する埋め込みを学習するニューラルネットワークアーキテクチャの開発。
• 入力特徴量から埋め込み空間への直接的なマッピングを学習することで、新しいデータポイントに対する未知のサンプル予測を可能にする。
• 従来のスペクトル手法とは異なり、類似度行列における欠損値を効果的に処理する。
• 非メトリック類似度と複数のペアワイズ関係を同時に予測することをサポートする。
• 標準的なカーネルPCAやスペクトル分解を超えた一般化を可能にする柔軟でトレーニング可能なフレームワークを提供する。

提案手法

• SimEcは、元の入力特徴量 xi から低次元埋め込みベクトル yi へのマッピング f′: xi → yi を学習する順方向ニューラルネットワークを用いる。
• モデルは、ターゲット類似度行列 S と埋め込みベクトルの内積の再構成誤差を最小化する、すなわち min ||S − Y Yᵀ||² を最適化する。
• 類似度行列 S から直接埋め込み空間を学習することで、メトリック類似度と非メトリック類似度の両方をサポートする。
• 訓練中に重み付き誤差関数を用いることで、S 内の欠損値を処理できる。
• マルチリレーション予測のため、SimEcは複数の類似度行列をテンソルに積み上げるか、単一行列に合算することで、同時に埋め込みを学習できる。
• Kerasベースの実装により、GPUを用いたエンドツーエンドのトレーニングが可能で、効率的な推論と未知のサンプルへの一般化が実現される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、既知のカーネル関数を必要とせず、未知のサンプルに対する予測を可能にする類似度を保全する埋め込みを学習できるか？
• RQ2 スペクトル手法と比較して、ニューラルモデルはペアワイズ類似度行列における欠損値をどの程度効果的に処理できるか？
• RQ3 SimEcは、人間の評価から得られるような非メトリック類似度を効果的に学習・予測できるか？
• RQ4 SimEcは、1つのモデルで複数のペアワイズ関係（例：正の類似度と負の類似度）をどの程度同時に予測できるか？
• RQ5 未知またはカーネルベースでない類似度源からの学習が、下流タスクにおける一般化性と性能向上に寄与するか？

主な発見

• SimEcは、MNIST や CIFAR-10 などのベンチマークデータセットで競争力のある性能を示し、類似度再構成においてカーネルPCAと同等またはそれを上回っている。
• ターゲット類似度が人間の評価など未知のプロセスから得られても、SimEcは未知のサンプルに対する予測を効果的に可能にしている。
• SimEcは類似度行列内の欠損値を効果的に処理でき、完全な行列を必要とする従来のSVDベースの手法を上回っている。
• S₁ + S₂ のような複数の類似度行列を積み上げたり合算したりして学習した場合、SimEcは両方の成分からの情報を保持しており、個別の行列で学習したモデルと同等の予測誤差を示している。
• 最終層の重み行列 Wₗ を用いて個別の類似度行列（例：S₁ と S₂）を予測すると、内積 Y Yᵀ を用いるよりも低い誤差が得られ、モデルのマルチリレーション学習能力を示している。
• 実世界の応用、例えばドラッグ-タンパク質相互作用予測、レコメンデーションシステム、心理物理学への応用においても、コンテキストエンコーダ（ConEc）への拡張を通じて良好な一般化性能を示しており、その有効性が実証されている。