[論文レビュー] Janossy Pooling: Learning Deep Permutation-Invariant Functions for Variable-Size Inputs

Ryan L. Murphy, Balasubramaniam Srinivasan+2 more|arXiv (Cornell University)|Nov 5, 2018

Machine Learning in Bioinformatics参考文献 46被引用数 65

ひとこと要約

論文は、すべての入力順序にわたって置換感受性のある関数の出力を平均することで、可変長入力に対して順序不変な関数を学習する Janossy pooling を提案し、扱いやすい近似と学習アルゴリズムを提案します。

ABSTRACT

We consider a simple and overarching representation for permutation-invariant functions of sequences (or multiset functions). Our approach, which we call Janossy pooling, expresses a permutation-invariant function as the average of a permutation-sensitive function applied to all reorderings of the input sequence. This allows us to leverage the rich and mature literature on permutation-sensitive functions to construct novel and flexible permutation-invariant functions. If carried out naively, Janossy pooling can be computationally prohibitive. To allow computational tractability, we consider three kinds of approximations: canonical orderings of sequences, functions with $k$-order interactions, and stochastic optimization algorithms with random permutations. Our framework unifies a variety of existing work in the literature, and suggests possible modeling and algorithmic extensions. We explore a few in our experiments, which demonstrate improved performance over current state-of-the-art methods.

研究の動機と目的

• 入力順序に不変で、可変長入力をサポートする柔軟で学習可能なプーリング演算子を開発する。
• 順序感受性のある関数を活用して、強力な順序不変ニューラルネットワークを構築する。
• 実用的な戦略（標準化された順序、k-ary 依存、順序サンプリング）を提供し、Janossy pooling フレームワーク内で既存手法を統一する。
• DeepSets や de Finetti exchangeability など既存研究との関連を分析し、訓練ダイナミクスを検討する。
• Janossy pooling が関連タスクで最先端のベースラインより改善することを実証的に示す。

提案手法

• Janossy pooling を、全ての入力順列に適用した順列感受性関数の出力の平均として定義する。
• 三つの実用的要素からなるアプローチを導入する：標準入力順序、k-ary 依存、順序サンプリング（pi-SGD）。
• k-ary Janossy pooling が計算を排列の一部集合に限定して減らすことを示す。
• DeepSets と 1-ary Janossy pooling との分析を提供し、表現力と計算のトレードオフを議論する。
• 順列をサンプリングして順序感受性モデルを学習するための pi-SGD を提案する。
• 推論への影響と、訓練済み Janossy モデルの分散低減アイデアを議論する。

実験結果

リサーチクエスチョン

• RQ1 可変長入力のために、順序不変な関数を柔軟に学習するにはどうすればよいか？
• RQ2 表現力を保ちつつ計算負担を減らす、完全な Janossy pooling の扱いやすい近似はどのようなものか？
• RQ3 標準化された順序、k-ary 依存、順序サンプリングは、学習時の順序不変モデルにおいて実践的にどう比較されるか？
• RQ4 Janossy pooling、DeepSets、有限の de Finetti exchangeability の理論的関係は何か？
• RQ5 pi-SGD は、順列ベースの訓練を用いた場合の収束と推論においてどう振る舞うか？

主な発見

• Janossy pooling は、順序感受性のある成分から順序不変ネットワークを構築する統一的なフレームワークを提供する。
• 三つの扱いやすさ戦略として、標準順序、k-ary 依存、順序サンプリングを提案し、表現力とコストのトレードオフを示す。
• k-ary Janossy pooling は、組み合わせ上の負担を、縮小した順列集合の和として減らす。
• pi-SGD は、ランダムな入力順列をサンプリングして Janossy ベースのモデルを訓練する principled な確率的最適化手法を提供する。
• このアプローチは、実験で最先端のベースラインを上回る性能を示している（論者の主張）。
• Janossy pooling と有限 de Finetti exchangeability の間に確率的な結びつきが確立されている。