[논문 리뷰] PDO-eConvs: Partial Differential Operator Based Equivariant Convolutions

Zhengyang Shen, Lingshen He외 2명|arXiv (Cornell University)|2020. 07. 20.

Medical Imaging and Analysis인용 수 12

한 줄 요약

이 논문은 연속 회전군(예: p8)에 대해 근사 등변성을 달성하기 위해 연속 영역 내에서 편미분 연산자(PDO)를 활용하고 수치적 방법을 통해 이들을 이산화함으로써, 새로운 컨volution 신경망 아키텍처인 PDO-eConvs를 제안한다. 이 방법은 근사 등변성에 대한 첫 번째 오차 분석을 제공하며, 이는 이차 순서의 근사 오차를 보이며, ImageNet에서 Wide ResNets보다 12.6% 적은 파라미터로 최신 기준 성능을 달성한다.

ABSTRACT

Recent research has shown that incorporating equivariance into neural network architectures is very helpful, and there have been some works investigating the equivariance of networks under group actions. However, as digital images and feature maps are on the discrete meshgrid, corresponding equivariance-preserving transformation groups are very limited. In this work, we deal with this issue from the connection between convolutions and partial differential operators (PDOs). In theory, assuming inputs to be smooth, we transform PDOs and propose a system which is equivariant to a much more general continuous group, the $n$-dimension Euclidean group. In implementation, we discretize the system using the numerical schemes of PDOs, deriving approximately equivariant convolutions (PDO-eConvs). Theoretically, the approximation error of PDO-eConvs is of the quadratic order. It is the first time that the error analysis is provided when the equivariance is approximate. Extensive experiments on rotated MNIST and natural image classification show that PDO-eConvs perform competitively yet use parameters much more efficiently. Particularly, compared with Wide ResNets, our methods result in better results using only 12.6% parameters.

연구 동기 및 목표

• 사각형 또는 육각형 격자에서의 이산 회전 대칭성(p4m, p6m 등)에 국한된 기존 등변 컨volution 신경망의 한계를 해결하기 위해.
• 컨volution을 편미분 연산자(PDO)로 모델링하여, 유사도군의 일반화된 클래스인 n차원 유클리드군에 대해 등변성을 확장하기 위해.
• 연속 등변 시스템의 이산 구현에서 발생하는 오차를 정량화하는 이론적으로 탄탄한 근사 방법을 제공하기 위해.
• 결과적으로 얻어진 PDO-eConvs가 이미지 분류 벤치마크에서 더 높은 파라미터 효율성과 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 컨벌루션을 선형 조합으로서 편미분 연산자(PDO)로 표현하여, 연속 영역에서 n차원 유클리드군에 대한 정확한 등변성을 달성한다.
• 유클리드군의 리 대수적 구조를 활용하여, 이동과 회전에 대해 등변성을 갖는 PDO 시스템을 유도한다.
• 연속 PDO 시스템을 유한 차분 방법을 사용해 이산화하여, 근사 등변 컨벌루션(PDO-eConvs)을 도출한다.
• 근사 오차를 철저히 분석하고, 이가 이차 순서임을 입증하여, 근사 등변 네트워크에 대해 처음으로 이러한 오차 경계를 제시한다.
• 모델의 깊이와 너비를 조절하여 파라미터 효율성을 유지하면서 배치 정규화와 채널 간 가중치 공유를 통합한다.
• SGD, 네스테로프 모멘텀, 학습률 감소 등의 표준 학습 프rotocol을 사용하며, 구조적 필터 초기화를 통해 등변성을 유지한다.

실험 결과

연구 질문

• RQ1 사각형 또는 육각형 격자에서의 이산 대칭성을 넘어서 연속적인 회전 대칭군에 대해 등변성을 갖는 컨벌루션 네트워크를 설계할 수 있는가?
• RQ2 디지털 이미지 격자에서 사용하기 위해 연속 등변 시스템을 이산화할 때 발생하는 이론적 근사 오차는 무엇인가?
• RQ3 PDO 기반 접근법이 기존의 등변 네트워크보다 표준 벤치마크에서 더 높은 파라미터 효율성과 성능을 달성할 수 있는가?
• RQ4 PDO-eConvs의 성능은 정확도와 파라미터 수 측면에서 표준 ResNets와 Wide ResNets와 비교해 어떻게 되는가?

주요 결과

• PDO-eConvs는 단지 460만 개의 파라미터로 CIFAR-100에서 3.50%의 테스트 오차를 기록하여, 3,650만 개의 파라미터를 사용하는 Wide ResNet(19.25% 오차)을 능가한다.
• CIFAR-10에서 PDO-eConvs는 262만 개의 파라미터로 3.68%의 오차를 기록하여, G-CNNs(4.94% 오차)와 ResNet-44(5.61% 오차)를 모두 능가한다.
• CIFAR-10과 CIFAR-100에서 모두 Wide ResNets보다 12.6% 더 높은 파라미터 효율성을 달성하면서도 뛰어난 정확도를 유지한다.
• PDO-eConvs는 유사한 파라미터 수를 유지하면서도 육각형 이미지 표현이 필요 없이, CIFAR-10에서 HexaConv보다 3.26%포인트 높은 성능(5.38% 대 8.64%)을 기록한다.
• PDO-eConvs의 근사 오차는 이차 순서임을 확인하여, 연속 등변성과 이산적 구현 간의 정밀하고 분석 가능한 트레이드오프를 입증한다.
• 이 방법은 기존의 이산 격자 기반 방법(G-CNNs, HexaConvs 등)이 지원하지 못하는 8중 회전 대칭성(p8)에 대해 등변성을 실현한다.