[論文レビュー] Deep Models of Interactions Across Sets

Jason Hartford, Devon R. Graham+2 more|arXiv (Cornell University)|Mar 7, 2018

Topic Modeling参考文献 25被引用数 52

ひとこと要約

本論文は、交換可能な行列/テンソルに対する置換不変ニューラル層を導入し、複数の集合間の相互作用をモデル化することで、スケーラブルな帰納的行列/テンソル補完と強力なクロスドメイン外挿を実現します。

ABSTRACT

We use deep learning to model interactions across two or more sets of objects, such as user-movie ratings, protein-drug bindings, or ternary user-item-tag interactions. The canonical representation of such interactions is a matrix (or a higher-dimensional tensor) with an exchangeability property: the encoding's meaning is not changed by permuting rows or columns. We argue that models should hence be Permutation Equivariant (PE): constrained to make the same predictions across such permutations. We present a parameter-sharing scheme and prove that it could not be made any more expressive without violating PE. This scheme yields three benefits. First, we demonstrate state-of-the-art performance on multiple matrix completion benchmarks. Second, our models require a number of parameters independent of the numbers of objects, and thus scale well to large datasets. Third, models can be queried about new objects that were not available at training time, but for which interactions have since been observed. In experiments, our models achieved surprisingly good generalization performance on this matrix extrapolation task, both within domains (e.g., new users and new movies drawn from the same distribution used for training) and even across domains (e.g., predicting music ratings after training on movies).

研究の動機と目的

• 複数の集合（例：ユーザー-アイテム、タンパク質-薬剤）間の相互作用を、交換可能性制約の下で学習する動機付け。
• PE（Permutation Equivariant）パラメータ共有方式を、PEを崩さずに最大限に表現力を持つ形に導入する。
• データサイズとともにスケールし、未知のエンティティに対する帰納一般化をサポートするアーキテクチャ（交換可能な行列/テンソル層）を開発する。
• 行列補完ベンチマークとクロスドメイン外挿における強力な実証性能を示す。
• 大規模データセットにおける疎入力と部分サンプリングに関する実践的考慮事項を提供する。

提案手法

• 行列入力に対して、結合パラメータ層を介して置換不変性を定義・強制し、単純でPEを保持する形（Equation 3）に簡略化する。
• PE層をマルチチャネル入力とチャネル間相互作用に一般化する（Equation 4）。
• 高次元テンソルへのPEフレームワーク拡張と、それに対応するパラメータ結び付け方式（Theorem 5.1）。
• 観測済みエントリのみを対象とするプーリング項へ適用することで、疎性を扱う。
• 2つの訓練/推論アーキテクチャを提案する：自己教師付き交換可能モデルとFactorized Exchangeable Autoencoder（FEA）。
• 実践的な正則化（チャンネルドロップアウト）と大規模行列に対する部分サンプリング戦略（均一サンプリングと条件付きサンプリング）について議論する。

実験結果

リサーチクエスチョン

• RQ1 神経モデルで交換可能な行列/テンソルデータの置換不変性を、パラメータ数を爆発させずにどう強制できるか？
• RQ2 PEベースのモデルは、転置的設定で競争力のあるまたは最先端の性能を達成しつつ、帰納的機能を維持できるか？
• RQ3 PEモデルは未見のユーザー/アイテム（帰納的な行列外挿）および異なるドメインデータセット（例：映画評価から音楽評価）へ一般化できるか？
• RQ4 疎性と部分サンプリングが交換可能PEモデルの性能に与える影響は何か、そしてそれをどう緩和するか？
• RQ5 PEフレームワークを行列から高次テンソルや他の交換可能構造（例： jointly exchangeable matricesによるグラフ）へ拡張するにはどうするべきか？

主な発見

• 交換可能な行列層は、最小限で高度に構造化されたパラメータ共有を用いて置換不変性を強制し、PE関数を可能にする。
• 自己教師付き交換可能モデルは、転置的設定でMovieLens-100Kにおいて最先端の性能を達成した。
• Factorized Exchangeable Autoencoder（FEA）は帰納的補完をサポートし、未見のユーザーとアイテムへ一般化でき、帰納的テストでベースラインを上回る。
• メモリ制約のため部分サンプリングが必要な場合でも、大規模データセットで競合的な結果を示し、条件付きサンプリングが一部の性能回復を助ける。
• この手法は強いクロスドメイン外挿を示し、映画評価で訓練し音楽評価でテストする（適切なビニング/リスケーリング後）場合にも競合的である。
• このフレームワークは高次テンソルにも自然に拡張でき、パラメータ共有の特殊ケースとしてグラフ畳み込みアーキテクチャへ接続される。