[論文レビュー] Learning Functions over Sets via Permutation Adversarial Networks

Chirag Pabbaraju, Prateek Jain|arXiv (Cornell University)|Jul 12, 2019

Advanced Graph Neural Networks参考文献 33被引用数 5

ひとこと要約

本論文では、学習者（LSTM）と悪意ある順列ネットワーク（APN）の間のミニマックス最適化として問題を定式化することにより、集合上の順列不変関数を学習するための新規手法SPAR（Set Permutation Adversarial Network）を提案する。APNは最悪の順列を生成する。SPANはDeepSets やJanossy Poolingといった最先端手法を著しく上回り、k-遠く離れた点選択などの困難な集合関数では最大55%高い精度を達成し、固有ベクトル回復タスクでは6%高いコサイン類似度を達成した。

ABSTRACT

In this paper, we consider the problem of learning functions over sets, i.e., functions that are invariant to permutations of input set items. Recent approaches of pooling individual element embeddings can necessitate extremely large embedding sizes for challenging functions. We address this challenge by allowing standard neural networks like LSTMs to succinctly capture the function over the set. However, to ensure invariance with respect to permutations of set elements, we propose a novel architecture called SPAN that simultaneously learns the function as well as adversarial or worst-case permutations for each input set. The learning problem reduces to a min-max optimization problem that is solved via a simple alternating block coordinate descent technique. We conduct extensive experiments on a variety of set-learning tasks and demonstrate that SPAN learns nearly permutation-invariant functions while still ensuring accuracy on test data. On a variety of tasks sampled from the domains of statistics, graph functions and linear algebra, we show that our method can significantly outperform state-of-the-art methods such as DeepSets and Janossy Pooling. Finally, we present a case study of how learning set-functions can help extract powerful features for recommendation systems, and show that such a method can be as much as 2% more accurate than carefully hand-tuned features on a real-world recommendation system.

研究の動機と目的

• 既存の集合関数学習手法が大きな埋め込みサイズを要するか、順列の変化に対して一般化に失敗するという制限を解消すること。
• 関数形に制限を課さずに順列不変性を保証する手法を開発し、複雑な集合関数の正確な学習を可能にすること。
• 集合学習におけるランダム順列ベースのデータ拡張の高い計算コストと分散を克服すること。
• 実世界の推薦システムにおける集合関数学習の実用的有用性を示すこと。

提案手法

• 集合関数学習をミニマックス最適化として定式化：学習者はAPNが生成する最悪の順列の下での損失を最小化する。
• 再帰的ニューラルネットワーク（LSTM）を関数学習者として用い、順列不変な方法で集合要素を段階的に要約する。
• 各入力集合に対してハードな最悪の順列を生成するため、Sinkhornに基づく微分可能な順列サンプリングを用いてAPNを訓練する。
• 学習者とAPNを同時に最適化するための交互ブロック座標降下法を用い、連合ミニマックス訓練スキームを実装する。
• LSTMの隠れ状態を用いて、集合要素を走査する中で、最大値や固有ベクトル推定値などの走査中要約を維持・更新する。
• 訓練データに含まれる順列に限定されず、任意の順列に対してロバストであるようにモデルを訓練することで、順列不変性を保証する。

実験結果

リサーチクエスチョン

• RQ1 関数形に制限を課さずに、ミニマックスアドバーシャルフレームワークが集合関数学習における順列不変性を効果的に強制できるか？
• RQ2 ランダムまたは固定順列戦略と比較して、アドバーシャル順列生成は一般化性とロバスト性において優れているか？
• RQ3 SPANは、最大フロー や k-遠く離れた点選択といった困難な集合関数において、DeepSets やJanossy Poolingといった最先端手法を上回れるか？
• RQ4 手作業で調整された特徴量と比較して、SPANは実世界の応用、特に推薦システムにおいてどの程度一般化できるか？

主な発見

• k=3のk-遠く離れた点選択タスクにおいて、SPANはDeepSetsに比べて55%高い精度を達成し、複雑な集合関数における優れた性能を示した。
• d=30の固有ベクトル回復タスクにおいて、SPANはDeepSetsに比べて6%高いコサイン類似度を達成し、高次元入力下でのより良い一般化を示した。
• 同じテスト集合を20通りのランダム順列に置き換えた場合、SPANは予測値がほぼ同一であり、標準偏差/平均比が1e-5以下に保たれた。これは強い順列不変性を裏付けた。
• アブレーションスタディの結果、APN部を除いたSPANは集合の最後の要素に偏るようになり、テストケースのうちたった10%で最大の桁を正しく予測した。
• n=200の最大3進距離タスクにおいて、LSTMベースの学習者が全結合ネットワークを上回り、平均相対誤差を40%削減した。
• 実世界の推薦システムの事例研究において、SPANに基づく特徴量は手動で調整された特徴量に比べて精度を最大2%向上させた。