[論文レビュー] Covariant Compositional Networks For Learning Graphs

Risi Kondor, Hy Truong Son+3 more|arXiv (Cornell University)|Jan 7, 2018

Advanced Graph Neural Networks参考文献 39被引用数 88

ひとこと要約

この論文は、グラフの共変合成ネットワーク（CCN）を提案し、テンソル表現によって置換に対する共変性を課すことで表現力を高め、従来の不変メッセージパッシングニューラルネットワークを上回ることを示唆します。

ABSTRACT

Most existing neural networks for learning graphs address permutation invariance by conceiving of the network as a message passing scheme, where each node sums the feature vectors coming from its neighbors. We argue that this imposes a limitation on their representation power, and instead propose a new general architecture for representing objects consisting of a hierarchy of parts, which we call Covariant Compositional Networks (CCNs). Here, covariance means that the activation of each neuron must transform in a specific way under permutations, similarly to steerability in CNNs. We achieve covariance by making each activation transform according to a tensor representation of the permutation group, and derive the corresponding tensor aggregation rules that each neuron must implement. Experiments show that CCNs can outperform competing methods on standard graph learning benchmarks.

研究の動機と目的

• グラフに対する不変なメッセージパッシングニューラルネットワーク（MPNNs）の限界を動機づけ、形式化する。
• 置換共変性をテンソル表現を通じて尊重する共変合成ネットワークの提案。
• 一般的な comp-net フレームワークを開発し、標準のグラフニューラルモデルが特別な場合であることを示す。
• グラフ階層全体で共変性を維持するテンソル集約の規則を導出する。
• 標準的なグラフベンチマークにおいてスカラーMPNNsより経験的な改善を示す。

提案手法

• アトムに対応する部品と階層表現の受容野を持つ有向無環グラフ（DAG）として共合成ネットワーク（comp-nets）を定義する。
• 頂点ラベリングに依存しない表現を保証するように、置換不変性と共変性の原理を導入する。
• 標準のMPNNがcomp-netの特別なケースであることを示し、表現力の限界について議論する。
• activations が置換群のテンソル表現（一次、二次、三次共変体など）に従って変換される共変コンポネットを導入する。
• 共変性を維持するためにテンソル畳み込みを用いた集約規則を導出する（例：一次の Pπ、二次の Pπ ⊗ Pπ など）。
• 層を受容野と関連づけ、定義された表現に従って受容野の置換の下で f_i（または F_i）がどのように変換するかを定義する。）

実験結果

リサーチクエスチョン

• RQ1 現在のグラフ学習手法は頂点置換に対する不変設計のため表現力をどのように制限しているか？
• RQ2 グラフ表現を置換に対する共変性を課すことで強化できるか？
• RQ3 グラフの共変活性化を実装する適切なテンソルベースのフレームワークは何か？
• RQ4 共変コンポ nets は既存のメッセージパッシングニューラルネットワークとどう関係し、一般化するか？
• RQ5 CCNを標準グラフベンチマークでの実用的な意味と性能向上の可能性は？

主な発見

• CCNsはテンソル活性化を介してグラフ表現に置換共変性を組み込むための体系的な方法を提供する。
• 標準のMPNNはcomp-netフレームワーク内の特別なケースとして復元される。
• 共変活性化は置換群の下で一次・二次・高次テンソル表現として整理できる。
• 集約規則は高次テンソルと置換表現の収縮に対応する。
• 実験によりCCNは標準的なグラフ学習ベンチマークでスカラーMPNNを上回ることが示される。