[論文レビュー] Set Norm and Equivariant Skip Connections: Putting the Deep in Deep Sets

Lily H. Zhang, Veronica Tozzo+2 more|arXiv (Cornell University)|Jun 23, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、セット正規化（sn）とクリーンパスに等長なスキップ接続を備えた、Deep SetsおよびSet Transformerの拡張版であるDeep Sets++とSet Transformer++を提案する。これらは、深層構造における消失・爆発勾配問題を克服する。これらのモデルは、点群分類やヘマトクリット予測といった多様なタスクで最先端の性能を達成し、タスク固有のチューニングなしに高深度でも安定性と正確性を維持できる、最初の深層置換不変ネットワークである。

ABSTRACT

Permutation invariant neural networks are a promising tool for making predictions from sets. However, we show that existing permutation invariant architectures, Deep Sets and Set Transformer, can suffer from vanishing or exploding gradients when they are deep. Additionally, layer norm, the normalization of choice in Set Transformer, can hurt performance by removing information useful for prediction. To address these issues, we introduce the clean path principle for equivariant residual connections and develop set norm, a normalization tailored for sets. With these, we build Deep Sets++ and Set Transformer++, models that reach high depths with comparable or better performance than their original counterparts on a diverse suite of tasks. We additionally introduce Flow-RBC, a new single-cell dataset and real-world application of permutation invariant prediction. We open-source our data and code here: https://github.com/rajesh-lab/deep_permutation_invariant.

研究の動機と目的

• 深層化に伴うDeep SetsおよびSet Transformerの不安定性、特に消失・爆発勾配問題を解消する。
• 実数値セットタスクにおける層正規化がスカラー変換に対して不要な不変性を引き起こすための性能低下を是正する。
• タスク固有の設計なしに多様なタスクで高い性能を維持する汎用的で深層的な置換不変アーキテクチャを開発する。
• 臨床的単細胞予測における置換不変モデルのベンチマーク化を目的とした、新しい実世界データセットFlow-RBCを導入する。
• セットに特化した、残差接続および正規化の原理的設計を確立し、高深度での信頼性の高い学習を可能にする。

提案手法

• 等長な残差接続のための「クリーンパス原則」を提案し、恒等写像を保持し、深層ネットワークにおける勾配の安定な流れを保証する。
• セット正規化（sn）を導入し、最小限の次元数で各セットを標準化することで、有用な情報を保持しつつ学習を安定化させる。
• 元のアーキテクチャにクリーンパススキップ接続とセット正規化を統合することで、Deep Sets++およびSet Transformer++を設計し、置換不変性を維持する。
• 要素間で平均および標準偏差を計算することで、セット正規化を用いてセットを標準化し、層正規化が引き起こす過剰平滑化や不変性の問題を回避する。
• スキップパスが厳密に恒等写像であるような残差接続方式を採用し、深層ネットワークにおける勾配安定性と最適化の改善を実現する。
• 点群分類やヘマトクリット予測を含む多様なタスクで、エンドツーエンドにモデルを学習させ、高深度での性能と耐性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Deep SetsおよびSet Transformerは、消失・爆発勾配問題を回避しながら、効果的に深くすることができるか？
• RQ2 層正規化は、実数値セット予測タスクにおいてスカラー変換に対する不要な不変性を引き起こすため、性能を低下させるか？
• RQ3 セット正規化という新しい正規化層は、深層置換不変ネットワークにおける学習安定性と性能を向上させることができるか？
• RQ4 クリーンパスに等長なスキップ接続は、深層アーキテクチャにおける勾配の流れとモデル性能を向上させるか？
• RQ5 汎用的な深層置換不変モデルは、点群分類のようなベンチマークタスクで、タスク固有の変種を上回る性能を発揮できるか？

主な発見

• Deep Sets++およびSet Transformer++は、点群分類やヘマトクリット予測を含む多様なタスクにおいて、元のモデルと同等または優れた性能を達成する。
• 50層にまで深くした場合、Deep Sets++およびSet Transformer++は、元のDeep SetsおよびSet Transformerが性能を低下させるのに対し、優れた性能を発揮する。
• 点群分類タスクにおいて、DS++およびST++の深層版は、元のDeep SetsおよびSet Transformer論文で提案されたタスク固有アーキテクチャを上回る性能を示す。
• Flow-RBCデータセットにおいて、DS++およびST++は臨床ベースライン（25.85 MSE）を上回る性能を発揮するが、50層の元のDeep Setsはそれを達成できない。
• セット正規化は、特に実数値セット入力において、層正規化が引き起こす不要な不変性を効果的に防止し、スカラー不変でないタスクでの性能向上に寄与する。
• 約3倍のパラメータ数を有するにもかかわらず、Set Transformer++はDeep Sets++と比べて顕著に高速ではないが、同じハードウェア上ではDeep Sets++が約2倍速く学習が完了するため、より高い効率性を示している。