[논문 리뷰] Revisiting Spatial Invariance with Low-Rank Local Connectivity

Gamaleldin F. Elsayed, Prajit Ramachandran외 2명|arXiv (Cornell University)|2020. 02. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 10

한 줄 요약

이 논문은 공유 기저 집합과 공간적으로 변화하는 가중치를 결합하여 공간 이동 불변성을 완화하는 저질서 국소 연결(LRLC) 레이어를 제안한다. 기저 집합의 질서를 조정함으로써 공간 이동 불변성의 정도를 제어할 수 있으며, MNIST, CIFAR-10, CelebA에서 표준 컨볼루션 레이어와 국소 연결 레이어보다 높은 정확도를 달성하여 공간 이동 불변성이 과도하게 제한적인 유도 편향일 수 있음을 시사한다.

ABSTRACT

Convolutional neural networks are among the most successful architectures in deep learning with this success at least partially attributable to the efficacy of spatial invariance as an inductive bias. Locally connected layers, which differ from convolutional layers only in their lack of spatial invariance, usually perform poorly in practice. However, these observations still leave open the possibility that some degree of relaxation of spatial invariance may yield a better inductive bias than either convolution or local connectivity. To test this hypothesis, we design a method to relax the spatial invariance of a network layer in a controlled manner; we create a extit{low-rank} locally connected layer, where the filter bank applied at each position is constructed as a linear combination of basis set of filter banks with spatially varying combining weights. By varying the number of basis filter banks, we can control the degree of relaxation of spatial invariance. In experiments with small convolutional networks, we find that relaxing spatial invariance improves classification accuracy over both convolution and locally connected layers across MNIST, CIFAR-10, and CelebA datasets, thus suggesting that spatial invariance may be an overly restrictive prior.

연구 동기 및 목표

• 컨볼루션 네트워크에서 공간 이동 불변성이 이미지 인식에 과도하게 제한적인 유도 편향인지 조사하기.
• 공간 이동 불변성을 완화하기 위한 미분 가능하고 파rameter 효율적인 방법 설계하기.
• 완전한 공유 또는 완전한 독립성 외의 중간 수준의 공간 이동 불변성—즉, 부분적인 이동 불변성—이 표준 컨볼루션 레이어나 국소 연결 레이어보다 더 높은 성능을 내는지 테스트하기.
• 대규모 시각 작업, 예를 들어 ImageNet과 같은 과제에 대해 완화된 공간 이동 불변성을 적용할 수 있는지 평가하기.

제안 방법

• 공유 기저 집합 K개의 필터 벤치를 선형 조합을 통해 국소 필터를 생성하는 저질서 국소 연결(LRLC) 레이어를 제안한다.
• 각 공간 위치는 기저 집합에서 유일한 필터 벤치를 형성하기 위해 K개의 조합 가중치를 사용하며, 기저와 가중치 모두 종단 간 학습된다.
• 질서 K는 공간 이동 불변성의 완화 정도를 제어한다: K=1은 표준 컨볼루션에 해당하고, K가 공간 크기와 같을 경우 국소 연결 레이어에 해당한다.
• 학습 가능한 파rameter 수는 공간 차원에 비례하지 않고 질서 K에 비례하므로 고해상도 입력에 대해서도 적용 가능하다.
• 입력에 따라 가중치를 조정하는 입력 의존적 LRLC 레이어를 도입하여, 정렬이 어긋난 데이터에서 성능 향상을 달성한다.
• 작은 데이터셋(MNIST, CIFAR-10, CelebA)과 대규모 ImageNet에서의 검증을 위해, 레이어 삽입 또는 교체 방식으로 ResNet-50에 적용한다.

실험 결과

연구 질문

• RQ1 컨볼루션 네트워크에서 공간 이동 불변성이 이미지 인식에 과도하게 제한적인 유도 편향인가?
• RQ2 통제된 파rameter화를 통해 공간 이동 불변성을 완화하면 표준 컨볼루션과 국소 연결 레이어를 초월하는 모델 정확도 향상이 가능한가?
• RQ3 완화된 공간 이동 불변성의 성능 이점은 네트워크 깊이 또는 레이어 위치에 따라 달라지는가?
• RQ4 저질서 파rameter화가 ImageNet과 같은 대규모 시각 과제에 대해 국소 연결 레이어를 실용적으로 만들 수 있는가?

주요 결과

• LRLC 레이어는 MNIST, CIFAR-10, CelebA에서 표준 컨볼루션 레이어보다 높은 상위-1 정확도를 달성했으며, CIFAR-10에서 최대 0.5% 향상된 바 있다.
• CIFAR-10에서 최적의 LRLC 질서는 4였으며, 이로 인해 상위-1 정확도 77.47%를 기록했고, 표준 컨볼루션(77.22%)과 좌표 컨볼루션(77.23%)을 모두 초월했다.
• ImageNet 실험에서는 ResNet-50의 모든 3×3 컨볼루션 레이어를 LRLC 레이어로 교체했을 때 상위-1 정확도 77.80%를 달성했으며, 표준 ResNet-50(77.48%)과 컨볼루션 기준선을 모두 뛰어넘었다.
• 입력 의존적 LRLC 변종은 ImageNet에서 77.80%의 정확도를 기록하여 입력에 특화된 공간 패턴에 더 잘 적응함을 시사했다.
• LRLC 레이어는 국소 연결 레이어를 능가했으며, 부분적인 공간 이동 불변성이 완전한 독립성보다 유리함을 보였다.
• 공간 이동 불변성을 후행 레이어에서 완화할 경우 최고의 성능를 달성했으며, 이는 고수준 특징이 공간 변화에 더 잘 이바지함을 시사한다.