[論文レビュー] Deep Sets

Manzil Zaheer, Satwik Kottur+4 more|arXiv (Cornell University)|Mar 10, 2017

Anomaly Detection Techniques and Applications被引用数 76

ひとこと要約

Deep Setsは、順列不変の集合入力を処理する原理的なアーキテクチャを導入し、普遍的な形 f(X)=ρ(Σφ(x)) を証明し、ニューラルネットワークの順列同値層を導出して、統計から点群分類、集合拡張まで広範な応用を見出します。

ABSTRACT

We study the problem of designing models for machine learning tasks defined on \emph{sets}. In contrast to traditional approach of operating on fixed dimensional vectors, we consider objective functions defined on sets that are invariant to permutations. Such problems are widespread, ranging from estimation of population statistics \cite{poczos13aistats}, to anomaly detection in piezometer data of embankment dams \cite{Jung15Exploration}, to cosmology \cite{Ntampaka16Dynamical,Ravanbakhsh16ICML1}. Our main theorem characterizes the permutation invariant functions and provides a family of functions to which any permutation invariant objective function must belong. This family of functions has a special structure which enables us to design a deep network architecture that can operate on sets and which can be deployed on a variety of scenarios including both unsupervised and supervised learning tasks. We also derive the necessary and sufficient conditions for permutation equivariance in deep models. We demonstrate the applicability of our method on population statistic estimation, point cloud classification, set expansion, and outlier detection.

研究の動機と目的

• 入力がベクトルの固定サイズではなく集合である学習タスクに動機づけ、要素の順序不変性が必要であること。
• 順列不変関数の構造を特徴づけ、普遍的な形を特定する。
• 変動サイズの集合で動作し、メタ情報での条件付けをサポートするDeepSetsアーキテクチャを開発する。
• ニューラル層における順列同値性の必要十分条件を導出する。
• 実証的な結果を伴う多様な監督・非監督タスクでアプローチを実証する。

提案手法

• 順列不変な集合関数は、各要素の φ変換の後に和を取り、ρ変換を適用する構成 f(X)=ρ(Σx∈Xφ(x)) であることを証明する。
• φ(x|z) および ρ を用いた副情報による条件付けをアーキテクチャに拡張する。
• 順列同値性ニューラルネットワーク層の条件を導出し、層が同値であるのは重み行列が Θ=λI+γ(11^T) の形をとる場合であることを示す。
• 順列同値層を積み重ね、集合プーリング（和または最大）と組み合わせて、サイズが異なる集合を扱うDeepSetsを開発する。
• 多様なタスクに対応するための監視付き・半監視・条件付けのバリエーションを実証する。
• 人口統計推定、点群分類、集合拡張、外れ検出などのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 集合上の順列不変関数の普遍的な構造とは何か。
• RQ2 順列不変性を尊重し、可変集合サイズを扱えるニューラルネットワークアーキテクチャを構築できるか。
• RQ3 ニューラル層における順列同値性の必要十分条件は何か。
• RQ4 集合ベースモデルに追加情報の条件付けをどのように統合できるか。
• RQ5 DeepSetsは統計推定、点群分類、集合拡張、異常検知などのタスクでどのように機能するか。

主な発見

• 順列不変な集合関数は、X を可算集合として f(X)=ρ(Σφ(x)) に分解でき、非可算集合への拡張が予想される。
• ニューラルネットワーク層が順列同値であるのは重み行列が Θ=λI+γ(11^T) の形をとる場合である。
• DeepSetsは人口統計推定、点群分類、集合拡張、外れ検出を含む多様なタスクで競争力のある、あるいは優れた性能を達成する。
• フレームワークはメタ情報の条件付けに対応し、複数データソースの柔軟な統合を可能にする。
• 実験的には、DeepSetsはタスク固有のアーキテクチャを必要とせず、強い一般化能力と適用可能性を示す。