[논문 리뷰] Group Equivariant Convolutional Networks

Taco Cohen, Max Welling|arXiv (Cornell University)|2016. 02. 24.

Advanced Neural Network Applications참고 문헌 41인용 수 584

한 줄 요약

이 논문은 CNN을 이산 대칭 그룹(예: p4 및 p4m)에 대한 그룹 등가 컨볼루션(G-convolutions)으로 일반화하여 매개변수 추가 없이 성능을 향상시키고 회전된 MNIST와 CIFAR-10에서 최소 오버헤드로 최첨단 성능을 달성한다.

ABSTRACT

We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CIFAR10 and rotated MNIST.

연구 동기 및 목표

• 심층 신경망의 데이터 효율성을 향상시키기 위해 대칭 그룹의 사용을 동기 부여하고 형식화한다.
• G-convolutions를 도입하고 표현력을 유지하면서 표준 컨볼루션보다 더 많은 가중치 공유를 보인다는 것을 보인다.
• G-CNN이 회전된 MNIST와 CIFAR-10에서 계산 오버헤드가 미미한 수준으로 최첨단 성과를 달성함을 입증한다.
• 이산 그룹에 대한 G-convolutions 및 풀링의 실용적인 구현 가이드를 제공한다.
• 신경망에서 구조화된 표현의 확장과 향후 방향에 대해 논의한다.

제안 방법

• 그룹 작용과 그룹 위의 함수를 정의하여 특징 맵을 G-스페이스로 모델링한다.
• 그룹 G 상에서 작동하는 G-컨볼루션(G-상관)을 도입하여 G 변환에 대해 등가성을 보장한다.
• 비선형성 및 풀링이 등가성을 보존하도록 설계될 수 있음을 보인다( G/H에 대한 코섯 풀링 포함).
• 필터 변환과 평면 컨볼루션을 통한 효율적인 구현을 제공하여 p4 및 p4m과 같은 분할 그룹에 대한 빠른 G-컨볼루션을 가능하게 한다.
• 표준 네트워크 구성요소들(배치 정규화, 잔차 블록)이 G-CNN 내에서도 등가성을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 CNN을 변환에 의한 등가성뿐 아니라 회전과 반사와 같은 더 큰 대칭 그룹에 대해 등가적으로 일반화할 수 있으며 매개변수 수를 늘리지 않고도 가능할까?
• RQ2 G-컨볼루션, G-풀링, 및 비선형성이 계층 전체에서 등가성을 보존하여 깊은 G-CNN을 가능하게 하는가?
• RQ3 G-CNN이 회전되거나 확장된 데이터셋(MNIST-rot, CIFAR-10)에서 표준 CNN과 비교하여 실질적인 성능 향상을 보여주는가?
• RQ4 p4 및 p4m 같은 그룹에 대해 G-컨볼루션을 구현할 때의 실용적 고려사항 및 효율성 비용은 어떤가?
• RQ5 다른 그룹이나 고차원에 G-CNN을 적용하기 위한 확장 및 향후 방향은 무엇인가?

주요 결과

• 이산 그룹(p4, p4m)에 대한 G-컨볼루션은 변환 간에 훨씬 더 많은 가중치를 공유하여 매개변수를 늘리지 않으면서 표현 용량을 증가시킨다.
• G-CNN은 회전된 MNIST에서 최첨단 결과를 달성한다: P4CNN은 2.28%의 테스트 오차에 도달하여 이전 방법들을 능가한다.
• CIFAR-10 및 확장된 CIFAR-10+에서 p4m을 가진 G-CNN은 강한 성능을 보인다: p4m을 가진 ResNet44가 각각 6.46%와 4.94%를 달성하고, 더 넓은 26-층 p4m 네트워크가 증강으로 4.19%에 도달(평면 컨볼루션 대비 5.27%).
• 평면 컨볼루션을 G-컨볼루션으로 교체하면 광범위한 조정 없이도 일관된 개선이 나타난다.
• G-CNN은 표준 CNN과 유사하게 데이터 증강의 이점을 얻으며, 데이터 세트가 완벽하게 대칭적이지 않더라도 개선이 관찰된다.