[論文レビュー] Powerset Convolutional Neural Networks

Chris Wendler, Dan Alistarh+1 more|arXiv (Cornell University)|Sep 5, 2019

Neural Networks and Applications被引用数 5

ひとこと要約

この論文は、代数的信号処理を活用して、有限集合の冪集合上にインデックス化されたデータである集合関数のための、深層学習フレームワーク「Powerset畳み込みニューラルネットワーク（Powerset CNN）」を提案する。線形かつシフト等変性の畳み込みを用いることで、合成および実世界のハイパーグラフベースの集合関数分類タスクにおいて、全結合層やグラフ畳み込みネットワークのベースラインを上回る性能を発揮する。

ABSTRACT

We present a novel class of convolutional neural networks (CNNs) for set functions, i.e., data indexed with the powerset of a finite set. The convolutions are derived as linear, shift-equivariant functions for various notions of shifts on set functions. The framework is fundamentally different from graph convolutions based on the Laplacian, as it provides not one but several basic shifts, one for each element in the ground set. Prototypical experiments with several set function classification tasks on synthetic datasets and on datasets derived from real-world hypergraphs demonstrate the potential of our new powerset CNNs.

研究の動機と目的

• 集合関数のような不規則なデータドメイン（標準のCNNやグラフニューラルネットワークに適さない）のための深層学習フレームワークの不足に取り組む。
• 冪集合ドメインにおける対称性を活用することで、集合関数における畳み込み層を体系的かつ原理的につくる。
• 集合関数のための新しいアーキテクチャ（畳み込みおよびプーリング層を含む）を導入し、集合関数における実用的な深層学習を可能にする。
• 実世界のハイパーグラフデータおよび合成された集合関数分類タスクにおけるフレームワークの有効性を実証する。
• 集合関数における理論的信号処理と幾何的深層学習における実用的ニューラルネットワーク応用の間のギャップを埋める。

提案手法

• 集合の和のモノイドをシフト演算として用い、線形かつシフト等変性関数としての冪集合畳み込みを定式化する：$(h*s)_A = \sum_{Q \subseteq N} h_Q s_{A \setminus Q}$。
• 冪集合ドメインにおけるフーリエ変換としてウォルシュ＝ハダマール変換（WHT）を用い、畳み込み演算子のスペクトル解析と対角化を可能にする。
• 構造的情報を保持しつつ次元削減を実現する、冪集合畳み込みフレームワークと整合性を持つ新しいプーリング層を設計する。
• 畳み込み層とプーリング層をスタックすることで完全なCNNアーキテクチャを構築し、各畳み込みブロックの後に非線形活性化関数を適用する。
• 部分ハイパーグラフ抽出と特徴集約を用いてハイパーグラフを集合関数として表現し、実世界データへの応用を可能にする。
• 集合関数分類タスクのため、標準的なバックプロパゲーションと確率的最適化を用いてネットワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 代数的信号処理の原則を用いて、集合関数のための体系的かつ原理的な畳み込みニューラルネットワークアーキテクチャを設計できるか？
• RQ2 和に基づくシフトに依存する冪集合畳み込みは、集合関数分類タスクにおいて、標準のグラフ畳み込みや全結合ネットワークと比較してどのように性能を発揮するか？
• RQ3 既知のサブモジュラリティおよびスペクトル的性質を持つ合成データセットにおいて、Powerset CNNの性能はいかがなものか？
• RQ4 Powerset CNNは実世界のハイパーグラフデータから表現を効果的に学習できるか。また、部分ハイパーグラフの起源を特定するタスクでどの程度の性能を示すか？
• RQ5 このアプローチの計算的およびデータスケーラビリティの限界は何か。それらはどのように緩和できるか？

主な発見

• Powerset CNNは、サブモジュラリティおよびスペクトル的性質の検出を含む、複数の合成集合関数分類タスクにおいて、全結合層およびグラフ畳み込みベースラインを上回る性能を発揮する。
• 実世界のハイパーグラフデータにおいて、提案されたアーキテクチャは、抽出された部分ハイパーグラフの起源を高精度で分類するのに成功している。
• ウォルシュ＝ハダマール変換の使用により、畳み込み演算子の効率的なスペクトル解析と対角化が可能となり、理論的および計算的安定性を支える。
• フレームワークは、集合の和演算におけるシフト等変性—特に冪集合ドメイン上でのシフト等変性—が、不規則なデータにおける学習の強固な基盤を提供することを示している。
• 基底集合のサイズに指数関数的増加の複雑性があるにもかかわらず、現代のハードウェア上では$n \leq 30$の範囲で実行可能であり、スパarsityを保つまたは次元削減技術を用いることでスケーリングが可能である。
• 実験的結果は、代数的信号処理に基づく方法駆動のアプローチが、新しいドメインにおける実用的深層学習タスクに成功裏に適応可能であることを裏付けている。