[논문 리뷰] Rotation Equivariance and Invariance in Convolutional Neural Networks

Benjamin Chidester, N. Minh외 1명|arXiv (Cornell University)|2018. 05. 31.

Cell Image Analysis Techniques참고 문헌 14인용 수 24

한 줄 요약

이 논문은 새로운 반경 컨볼루션 레이어를 통해 회전 동치성(-equivariance)을 강제하고 전이 레이어에서 2차원-디푸리에 변환(DFT)의 크기 응답을 통해 회전 불변성( invariance)을 달성하는 회전 불변성 컨볼루션 신경망(RiCNN)을 제안한다. 이 방법은 MNIST, 합성 현미경 영상, 실제 효모 세포 영상에서 표준 CNN 및 G-CNN보다 분류 정확도, 학습 속도, 하이퍼파ram터 선택에 대한 저항성 향상을 보이며, 특히 데이터가 제한된 경우에 뛰어난 성능을 발휘한다.

ABSTRACT

Performance of neural networks can be significantly improved by encoding known invariance for particular tasks. Many image classification tasks, such as those related to cellular imaging, exhibit invariance to rotation. We present a novel scheme using the magnitude response of the 2D-discrete-Fourier transform (2D-DFT) to encode rotational invariance in neural networks, along with a new, efficient convolutional scheme for encoding rotational equivariance throughout convolutional layers. We implemented this scheme for several image classification tasks and demonstrated improved performance, in terms of classification accuracy, time required to train the model, and robustness to hyperparameter selection, over a standard CNN and another state-of-the-art method.

연구 동기 및 목표

• 세포 및 현미경 영상에서 회전이 핵심 대칭성을 가지는 상황에서 회전 불변성 이미지 분류 작업의 성능을 향상시키기 위해.
• 표준 CNN 및 기존의 동치성 방법(G-CNN)의 한계를 해결하기 위해, 이는 전역적 회전 구조를 손실하거나 과도한 파ram터를 요구하기 때문이다.
• 학습 중에 회전 동치성을 유지하면서도, 새로운 전이 레이어를 통해 불변성을 강제하는 계산적으로 효율적인 방법을 개발하기 위해.
• 동치성과 불변성을 명시적으로 인코딩함으로써 일반화 성능을 향상시키며, 특히 작은 학습 세트에서 유의미한 성과를 내는 데 목적이 있다.

제안 방법

• 특징 맵의 쌍곡선 영역을 따라 기울인 필터를 회전시키며 컨볼루션하는 새로운 반경 컨볼루션 레이어를 제안하여, 컨볼루션 레이어 전반에 걸쳐 회전 동치성을 유지한다.
• 2차원-DFT 기반 전이 레이어를 도입하여, 기울인 특징 맵을 원형 이동으로 변환하며, 크기 응답의 회전 불변성 특성을 활용한다.
• 2차원-DFT의 크기를 회전 불변 표현으로 사용하여, 필터 응답 간 상호 회전 정보를 유지한다. 이는 G-CNN의 개별 필터 풀링 방식과는 달리, 필터 간의 상호작용을 보존한다.
• 반경 컨볼루션과 2차원-DFT 레이어를 조합하여 동치성과 불변성을 동시에 달성하는 새로운 네트워크 아키텍처인 RiCNN를 설계한다.
• 실제 현미경 데이터에 적합한 데이터 증강 및 드롭아웃 기반의 수정된 학습 프rotocol를 적용하여, 라벨이 제한된 생물학적 영상 데이터에 적합하도록 한다.
• 다양한 데이터셋에서 방법을 검증한다: 기울인 MNIST, 합성 생체표지자 영상, 그리고 세포 내 단백질 국소화가 있는 실제 분열 효모 세포 영상.

실험 결과

연구 질문

• RQ1 새로운 반경 컨볼루션 레이어가 표준 또는 G-CNN 대비 파ram터 수를 줄이며 동시에 CNN 내에서 회전 동치성을 효과적으로 유지할 수 있는가?
• RQ2 2차원-DFT의 크기 응답이 G-CNN의 개별 필터 풀링 방식보다 더 강력하고 정보가 풍부한 표현을 제공하는가?
• RQ3 회전 동치성 컨볼루션과 2차원-DFT 기반 불변성의 조합이, 세포 영상과 같은 복잡하고 작은 데이터셋에서 분류 정확도를 어떻게 향상시키는가?
• RQ4 표준 CNN 및 G-CNN 대비 RiCNN가 학습 시간과 하이퍼파ram터 민감도를 얼마나 줄이는가?
• RQ5 미세한 표현형 차이와 제한된 학습 데이터를 가진 실제 생물학적 영상 작업에서 RiCNN이 더 나은 일반화 성능을 보일 수 있는가?

주요 결과

• RiCNN는 기울인 MNIST와 합성 생체표지자 영상 포함 모든 테스트 데이터셋에서 표준 CNN 및 G-CNN보다 높은 분류 정확도를 달성했으며, 통계적으로 유의미한 향상이 있었다.
• 효모 세포 단백질 국소화 작업에서 RiCNN는 최고의 비딥러닝 방법(ensLOC)이 필요한 데이터의 약 10%만으로도 평균 정밀도 0.60에서 0.67을 달성했으며, 해당 방법은 덜 도전적인 세트에서 0.49를 기록했다.
• 2차원-DFT 전이 레이어의 포함이 ReCNN(2차원-DFT 없이 회전 동치성 CNN)보다 성능 향상을 크게 이끌어내어, 이 레이어가 필터 간 회전 정보를 효과적으로 유지한다는 것을 입증했다.
• RiCNN는 학습 속도가 빠르며 하이퍼파ram터 설정에 따른 성능 변동도 낮아, 표준 CNN 및 G-CNN에 비해 더 높은 저항성을 보였다.
• 2차원-DFT 레이어 없이도 ReCNN는 표준 CNN 및 G-CNN를 초월했고 파ram터 수도 적게 요구하여, 반경 컨볼루션 레이어가 동치성에 기여한다는 것을 확인했다.
• RiCNN의 성능 분포가 G-CNN 및 표준 CNN보다 항상 높게 유지되어, 하이퍼파ram터 설정이 최적화되지 않은 상황에서도 RiCNN가 더 나은 일반화 성능을 보임을 시사한다.