[논문 리뷰] Regularizing Towards Permutation Invariance in Recurrent Models

Edo Cohen-Karlik, Avichai Ben David외 1명|arXiv (Cornell University)|2020. 10. 25.

Computational Geometry and Mesh Generation참고 문헌 20인용 수 7

한 줄 요약

이 논문은 순환 신경망(RNN)에 순열 불변성을 유도하기 위해 새로운 정규화 방법인 부분집합 불변성 정규화(SIRE)를 제안한다. 이는 비반복적 아키텍처보다 더 적은 파라미터로 집합 기반 함수를 모델링할 수 있도록 한다. 입력 부분집합의 순열에 따라 모델 출력이 변하지 않도록 정규화함으로써, SIRE는 합성 및 실세계 데이터셋에서 뛰어난 성능을 보이며, 특히 이전 방법이 실패하는 반순열 불변 설정에서 두각을 나타낸다.

ABSTRACT

In many machine learning problems the output should not depend on the order of the input. Such "permutation invariant" functions have been studied extensively recently. Here we argue that temporal architectures such as RNNs are highly relevant for such problems, despite the inherent dependence of RNNs on order. We show that RNNs can be regularized towards permutation invariance, and that this can result in compact models, as compared to non-recurrent architectures. We implement this idea via a novel form of stochastic regularization. Existing solutions mostly suggest restricting the learning problem to hypothesis classes which are permutation invariant by design. Our approach of enforcing permutation invariance via regularization gives rise to models which are extit{semi permutation invariant} (e.g. invariant to some permutations and not to others). We show that our method outperforms other permutation invariant approaches on synthetic and real world datasets.

연구 동기 및 목표

• 기계 학습에서 순열 불변 함수를 학습하는 데 도전하는 것, 특히 데이터가 부분적 또는 엄격한 불변성을 보이지 않을 경우에 초점한다.
• 기본적으로 순서에 의존하는 RNN이 순열 불변성을 달성하도록 효과적으로 정규화될 수 있음을 보여주는 것.
• 완전한 불변성이 필요하거나 가능하지 않은 설정에 적용 가능한 부드러운 정규화 접근법을 제안하는 것.
• 표준 RNN과 완전히 불변인 아키텍처인 DeepSets에 비해 SIRE 정규화를 적용한 RNN이 샘플 효율성과 정확도 측면에서 뛰어나다는 것을 보여주는 것.
• SIRE를 통해 데이터의 잠재적 순열 구조를 활용하여, 반감독 설정에서 레이블이 없는 데이터를 효과적으로 활용할 수 있도록 하는 것.

제안 방법

• 입력 시퀀스의 동일한 부분집합이 다른 순서로 처리될 때 모델 출력의 차이를 방지하기 위한 새로운 정규화 항인 SIRE(Subset Invariance Regularization)를 제안한다. 특히 부분집합에 중점을 둔다.
• 정규화 손실을 정의하여, 입력 부분집합의 모든 순열에 대해 예측의 평균 차이를 최소화하는 것을 목표로 한다.
• 표준 RNN 손실에 SIRE 정규화 항을 더한 후, 확률적 경사 하강법을 사용하여 최적화함으로써, 입력 순서에 대해 안정적인 상태를 학습할 수 있도록 한다.
• SIRE를 RNN, LSTM, GRU에 적용하여 다양한 순환 아키텍처에서의 효과성을 입증한다.
• 특히 복잡한 함수인 파리티 함수의 경우, SIRE 정규화를 적용한 RNN은 DeepSets에 비해 훨씬 적은 파라미터로도 성능을 달성함을 보여주며, 이는 놀라운 샘플 복잡도 이점을 보여준다.
• 국소적으로 변형된 데이터(예: 국소적으로 변형된 MNIST)에 대해 작동하는 SIRE의 변종을 도입하여, 부분적으로 불변인 설정에서의 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 기본 아키텍처 변경 없이 RNN이 순열 불변성을 효과적으로 정규화할 수 있는가?
• RQ2 SIRE 정규화는 DeepSets와 같은 완전히 불변인 아키텍처에 비해 파라미터 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ3 SIRE는 완전한 불변성이 바람직하거나 가능하지 않은 반순열 불변 문제에 적용될 수 있는가?
• RQ4 SIRE 정규화는 특히 데이터가 적은 환경에서 최적화 안정성과 일반화 성능을 향상시키는가?
• RQ5 SIRE는 레이블이 없는 데이터에 내재된 순열 구조를 활용하여 반감독 학습에서 활용될 수 있는가?

주요 결과

• SIRE 정규화는 RNN의 순열 불변 과제에서 성능을 크게 향상시키며, 국소적으로 변형된 MNIST에서 표준 GRU의 0.833보다 높은 0.977의 테스트 정확도를 달성한다.
• 정규화된 RNN은 표준 RNN을 능가하며, 합성 파리티 및 집합 분류 과제에서 DeepSets와 동등하거나 이를 초월하는 성능을 보인다.
• 파리티 함수의 경우, SIRE 정규화를 적용한 RNN은 파라미터 수가 O(1)에 불과하지만, DeepSets는 O(n) 파라미터가 필요하므로 놀라운 샘플 복잡도 이점을 보인다.
• SIRE는 국소적으로 변형된 MNIST와 같은 부분적으로 불변인 데이터를 효과적으로 모델링할 수 있으며, CNN은 0.963의 정확도, 표준 RNN은 0.833이지만 SIRE 정규화 RNN은 0.977에 도달한다.
• SIRE는 지수적 복잡도를 피하고 더 큰 집합 크기에서도 효율적으로 작동하므로, Murphy 등이 제안한 부분 집합 순열 방법보다 더 잘 스케일링된다.
• 실험 결과에 따르면, SIRE 정규화는 짧고 안정적인 시퀀스에서 작동하므로 vanishing gradient 문제를 줄여 최적화를 개선할 수 있음을 시사한다.