[논문 리뷰] Set Norm and Equivariant Skip Connections: Putting the Deep in Deep Sets

Lily H. Zhang, Veronica Tozzo외 2명|arXiv (Cornell University)|2022. 06. 23.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 세트 정규화(set norm, sn)와 청소된 경로 등변 스킵 연결을 갖춘 Deep Sets와 Set Transformer의 개선된 버전인 Deep Sets++ 및 Set Transformer++을 소개한다. 이는 깊은 아키텍처에서의 기울기 소실/폭발 문제를 해결하기 위한 것으로, 다양한 작업, 특히 점군 분류와 혈구비중 예측에서 최신 기술 수준의 성능을 달성한다. 이는 태스크별 튜닝 없이도 높은 깊이에서 안정성과 정확도를 유지하는 최초의 깊은 순열 불변 신경망이다.

ABSTRACT

Permutation invariant neural networks are a promising tool for making predictions from sets. However, we show that existing permutation invariant architectures, Deep Sets and Set Transformer, can suffer from vanishing or exploding gradients when they are deep. Additionally, layer norm, the normalization of choice in Set Transformer, can hurt performance by removing information useful for prediction. To address these issues, we introduce the clean path principle for equivariant residual connections and develop set norm, a normalization tailored for sets. With these, we build Deep Sets++ and Set Transformer++, models that reach high depths with comparable or better performance than their original counterparts on a diverse suite of tasks. We additionally introduce Flow-RBC, a new single-cell dataset and real-world application of permutation invariant prediction. We open-source our data and code here: https://github.com/rajesh-lab/deep_permutation_invariant.

연구 동기 및 목표

• 딥러닝 아키텍처에서 깊어질수록 발생하는 기울기 소실 또는 폭발 문제를 해결하기 위해 Deep Sets와 Set Transformer의 안정성을 향상시키기.
• 실수값 세트 작업에서 레이어 정규화가 스칼라 변환에 대한 원치 않는 불변성을 유도함으로써 성능 저하를 야기하는 문제를 해결하기.
• 태스크별 엔지니어링 없이 다양한 작업에서 높은 성능을 유지하는 일반 목적의 깊은 순열 불변 아키텍처를 개발하기.
• 임상 단일세포 예측에서 순열 불변 모델을 벤치마킹하기 위한 새로운 실세계 데이터셋인 Flow-RBC를 제안하기.
• 세트에 특화된 잔차 연결 및 정규화의 체계적인 설계를 통해 고깊이에서의 신뢰할 수 있는 훈련을 가능하게 하기.

제안 방법

• 등변 잔차 연결을 위한 '청소된 경로 원칙'을 제안하여 신뢰할 수 있는 기울기 흐름과 항등 맵핑의 유지 보장을 보장한다.
• 세트 정규화(set norm, sn)를 도입하여 최소한의 차원 수를 기준으로 각 세트를 표준화함으로써 유용한 정보를 유지하면서도 훈련을 안정화시킨다.
• 기존 아키텍처에 청소된 경로 스킵 연결과 세트 정규화를 통합하여 Deep Sets++ 및 Set Transformer++을 설계함으로써 순열 불변성을 유지한다.
• 요소 간 평균과 표준편차를 계산하여 세트를 표준화함으로써 레이어 정규화의 과도한 스무딩과 불변성 문제를 피한다.
• 스킵 경로가 엄격하게 항등 맵핑이 되도록 하는 잔차 연결 기법을 사용하여 깊은 네트워크에서 기울기 안정성과 최적화 성능을 향상시킨다.
• 점군 분류 및 혈구비중 예측과 같은 다양한 작업에서 엔드 투 엔드로 모델을 훈련시켜 고깊이에서의 성능 및 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 Deep Sets와 Set Transformer는 기울기 소실 또는 폭발 문제 없이 효과적으로 깊어질 수 있는가?
• RQ2 레이어 정규화는 스칼라 변환에 대한 원치 않는 불변성을 야기하여 실수값 세트 예측 작업에서 성능을 저하시키는가?
• RQ3 세트 정규화(set norm)라는 새로운 정규화 레이어가 깊은 순열 불변 네트워크의 훈련 안정성과 성능을 향상시킬 수 있는가?
• RQ4 청소된 경로 등변 스킵 연결은 깊은 아키텍처에서 기울기 흐름과 모델 성능을 향상시키는가?
• RQ5 일반 목적의 깊은 순열 불변 모델은 점군 분류와 같은 벤치마크 작업에서 태스크별 최적화된 버전을 능가할 수 있는가?

주요 결과

• Deep Sets++ 및 Set Transformer++는 점군 분류 및 혈구비중 예측과 같은 다양한 작업에서 원래 아키텍처와 비교해도 뛰어난 성능 또는 동등한 성능을 달성한다.
• 50층 깊이에서 Deep Sets++ 및 Set Transformer++는 원래의 Deep Sets와 Set Transformer보다 성능이 뛰어나며, 깊어질수록 성능 저하가 발생하는 원본 모델과는 대조된다.
• 점군 분류 작업에서 DS++ 및 ST++의 깊은 버전은 원래 Deep Sets 및 Set Transformer 논문에서 제안한 태스크별 최적화 아키텍처를 뛰어넘는 성능을 보였다.
• Flow-RBC 데이터셋에서 DS++ 및 ST++는 임상 기준 모델(25.85 MSE)을 모두 초월했으며, 50층 깊이에서 원래의 Deep Sets는 이를 달성하지 못했다.
• 세트 정규화는 특히 실수값 세트 입력에서 레이어 정규화가 유도하는 원치 않는 불변성을 효과적으로 방지하여 스칼라 불변이 아닌 작업에서 성능 향상을 이끌어냈다.
• 약 3배의 매개변수를 가졌음에도 Set Transformer++는 Deep Sets++만큼 빠르지 않지만, 동일 하드웨어에서 Deep Sets++는 약 두 배 빠르게 훈련되어 더 높은 효율성을 보였다.