[논문 리뷰] Equivariance versus Augmentation for Spherical Images

Jan E. Gerken, Oscar Carlsson외 4명|arXiv (Cornell University)|2022. 02. 08.

Medical Image Segmentation Techniques인용 수 5

한 줄 요약

이 논문은 구면 MNIST 데이터셋에서 군 등변성 있는 구면 컨볼루션 신경망(S2CNNs)과 회전 데이터 증강을 사용한 비등변성 기반 표준 CNN을 비교한다. 데이터 증강은 등변성 분류 작업에서는 S2CNN 성능을 따라잡을 수 있으나, 본질적으로 등변성인 의미 분할 작업에서는 등변성 네트워크가 비등변성 모델을 뚜렷이 능가하며, 동일 정확도에서 학습 속도가 빠르고 최적화된 추론 환경에서는 지연 시간이 더 낮다.

ABSTRACT

We analyze the role of rotational equivariance in convolutional neural networks (CNNs) applied to spherical images. We compare the performance of the group equivariant networks known as S2CNNs and standard non-equivariant CNNs trained with an increasing amount of data augmentation. The chosen architectures can be considered baseline references for the respective design paradigms. Our models are trained and evaluated on single or multiple items from the MNIST or FashionMNIST dataset projected onto the sphere. For the task of image classification, which is inherently rotationally invariant, we find that by considerably increasing the amount of data augmentation and the size of the networks, it is possible for the standard CNNs to reach at least the same performance as the equivariant network. In contrast, for the inherently equivariant task of semantic segmentation, the non-equivariant networks are consistently outperformed by the equivariant networks with significantly fewer parameters. We also analyze and compare the inference latency and training times of the different networks, enabling detailed tradeoff considerations between equivariant architectures and data augmentation for practical problems. The equivariant spherical networks used in the experiments are available at https://github.com/JanEGerken/sem_seg_s2cnn .

연구 동기 및 목표

• 구면 이미지 작업에서 군 등변성 네트워크가 데이터 증강보다 본질적인 이점이 있는지 조사한다.
• 구면 데이터에 대한 딥러닝에서 아키텍처의 인덕티브 바이어스(등변성)와 데이터 증강 간의 상호 상충 관계를 다룬다.
• 회전 불변성(분류)과 본질적으로 등변성(의미 분할) 작업 간의 성능 차이를 평가한다.
• 학습 시간, 추론 지연 시간, 처리량을 분석하여 등변성과 비등변성 모델 간의 실용적 상충 관계를 평가한다.
• 의미 분할 작업에 대해 등변성 출력을 갖는 S2CNN의 상세한 구현과 이론적 기반을 제공한다.

제안 방법

• 임의의 리 군 G에 대해 일반화된 새로운 군 등변성 컨볼루션 신경망 레이어를 제안하여, 구면에서의 의미 분할에 적용한다.
• 기존 S2CNN 아키텍처에 등변성 출력을 보장하는 최종 레이어를 추가하며, 이는 부록 A에서 수학적으로 증명된다.
• 구면 MNIST 투영 데이터셋에 대해 증가하는 회전 데이터 증강을 사용해 표준 비등변성 CNN을 훈련시킨다.
• 분류 및 의미 분할 작업 모두에 대해 구면에 투영된 구면 MNIST 및 구면 FashionMNIST 데이터셋을 사용한다.
• S2CNN 및 비등변성 CNN 모델의 추론 지연 시간과 처리량을 Nvidia T4 GPU에서 프로파일링한다.
• S2CNN(비회전 데이터로 훈련)과 증강된 비등변성 CNN(회전된 데이터로 훈련)이 동일한 성능에 도달하는 데 걸리는 총 학습 시간을 측정한다.

실험 결과

연구 질문

• RQ1 S2CNN의 회전 등변성은 비등변성 CNN에 비해 구면 이미지 분류 작업에서 성능 우위를 제공하는가?
• RQ2 의미 분할 작업에서 비등변성과 등변성 네트워크 간의 성능 격차를 데이터 증강이 어느 정도 메우는가?
• RQ3 동일한 성능 수준에서 S2CNN과 증강된 비등변성 CNN 간의 학습 시간과 추론 지연 시간은 어떻게 비교되는가?
• RQ4 의미 분할 작업의 복잡도가 증가할 경우 등변성의 이점이 유지되는가?
• RQ5 S2CNN의 추론 파이프라인에서 성능 저하 요인이 어디에 위치하는가? 최적화 목표를 특정할 수 있는가?

주요 결과

• 회전 불변성 분류 작업에서는 비등변성 CNN이 광범위한 데이터 증강과 더 큰 아키텍처를 사용할 경우 더 작은 S2CNN의 성능을 따라잡을 수 있다.
• 본질적으로 등변성인 의미 분할 작업에서는 비등변성 모델이 데이터 증강을 적용해도 S2CNN에 비해 일관되게 열등하며, 최대 500만 개의 증강된 훈련 샘플을 사용한 경우에도 마찬가지다.
• 목표 정확도 약 97.5%에서, 비회전 데이터로 훈련된 S2CNN은 15시간 내에 학습을 완료했고, 증강된 비등변성 CNN은 97.49% 정확도에 도달하기까지 26시간이 소요되었다.
• S2CNN은 배치 크기 7일 때 14.6개 샘플/초의 처리량을 기록했고, 비등변성 CNN은 배치 크기 60일 때 682개 샘플/초를 기록하여, 지연 시간 격차가 뚜렷하게 드러났다.
• 추론 프로파일링 결과, S2CNN의 최종 레이어에서 가장 큰 SO(3) 텐서 연산이 주요 성능 저하 요인임을 확인했으며, 이는 최적화 대상임을 시사한다.
• 추론 시 지연 시간이 더 높음에도 불구하고, 동일한 성능 수준에서 S2CNN의 총 학습 시간이 증강된 비등변성 모델보다 짧아 실용적 효율성 우위가 있음을 보여준다.