[논문 리뷰] Multigrid Neural Architectures

Tsung-Wei Ke, Michael Maire외 1명|arXiv (Cornell University)|2016. 11. 23.

Advanced Neural Network Applications참고 문헌 22인용 수 7

한 줄 요약

이 논문은 공간 격자 피라미드를 통해 작동하는 다중 격자 신경망 아키텍처를 제안하며, 이는 컨볼루션 필터가 척도 내외에서 동시에 작용하도록 해준다. 다중 격자 계산을 통합함으로써 네트워크는 지수적 수준의 수용장역성 성장, 동적 주의 집중 및 라우팅 메커니즘 학습을 달성하며, 분류, 세분화, 공간 변환 작업에서 표준 CNN보다 뛰어난 성능을 보인다. 특히 표준 CNN이 실패하는 얕은 네트워크에서 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a multigrid extension of convolutional neural networks (CNNs). Rather than manipulating representations living on a single spatial grid, our network layers operate across scale space, on a pyramid of grids. They consume multigrid inputs and produce multigrid outputs; convolutional filters themselves have both within-scale and cross-scale extent. This aspect is distinct from simple multiscale designs, which only process the input at different scales. Viewed in terms of information flow, a multigrid network passes messages across a spatial pyramid. As a consequence, receptive field size grows exponentially with depth, facilitating rapid integration of context. Most critically, multigrid structure enables networks to learn internal attention and dynamic routing mechanisms, and use them to accomplish tasks on which modern CNNs fail. Experiments demonstrate wide-ranging performance advantages of multigrid. On CIFAR and ImageNet classification tasks, flipping from a single grid to multigrid within the standard CNN paradigm improves accuracy, while being compute and parameter efficient. Multigrid is independent of other architectural choices; we show synergy in combination with residual connections. Multigrid yields dramatic improvement on a synthetic semantic segmentation dataset. Most strikingly, relatively shallow multigrid networks can learn to directly perform spatial transformation tasks, where, in contrast, current CNNs fail. Together, our results suggest that continuous evolution of features on a multigrid pyramid is a more powerful alternative to existing CNN designs on a flat grid.

연구 동기 및 목표

• 느린 격자 기반의 신호 확산으로 인해 표준 CNN이 장거리 맥락 정보를 효율적으로 전파하지 못하는 문제를 해결한다.
• 단일 격자 아키텍처의 한계를 극복하여 척도와 추상화가 혼합되며, 세분화와 같은 작업에 복잡한 스킵 연결이 필요로 하는 문제를 해결한다.
• 표준 CNN이 수용장역성 다이나믹스의 제약으로 인해 학습할 수 없는 공간 주의 집중 및 동적 라우팅 메커니즘을 엔드 투 엔드로 학습할 수 있도록 한다.
• 다중 격자 구조가 얕은 네트워크가 표준 CNN이 학습하지 못하는 작업—예를 들어 공간 변환—을 해결할 수 있음을 입증한다.
• 다양한 피라미드 수준에 헤드를 부착함으로써 분류, 세분화, 변환 작업을 하나의 다중 격자 아키텍처로 통합한다.

제안 방법

• 다양한 공간 격자(해상도 피라미드)를 통해 작동하는 컨볼루션 레이어를 설계하며, 필터가 척도 내외 모두에 영향을 미치도록 한다.
• 모든 공간 피라미드 수준에서 동시에 특징을 처리하고 업데이트하는 다중 격자 표현을 구성한다.
• 시작 시 거친 격자 처리를 하고 깊이가 증가함에 따라 점차 더 세밀한 격자를 통합하는 점진적 다중 격자 변형을 구현한다.
• 통합된 네트워크 아키텍처를 사용해 다중 작업을 지원한다: 분류를 위해 가장 거친 수준에 분류기 부착, 세분화를 위해 가장 세밀한 수준에 세분화 헤드 부착, 중간 수준에 변환 헤드 부착.
• 표준 최적화(학습률 감소를 동반한 SGD)를 사용해 네트워크를 엔드 투 엔드로 훈련하며, 주의 맵은 차폐 기반 影향 분석을 통해 생성한다.
• 네트워크가 동적이고 이동 불변 주의 메커니즘을 학습할 수 있는 능력을 테스트하기 위해 합성 공간 변환 데이터셋을 도입한다.

실험 결과

연구 질문

• RQ1 표준 CNN과 비교해 다중 격자 아키텍처가 장거리 맥락 정보 통합을 더 빠르고 효율적으로 수행할 수 있는가?
• RQ2 다중 격자 네트워크가 표준 CNN이 학습하지 못하는 내부 주의 집중 및 동적 라우팅 메커니즘을 엔드 투 엔드로 학습할 수 있는가?
• RQ3 다중 격자 설계가 표준 CNN이 학습하지 못하는 복잡한 공간 변환 작업을 수행할 수 있는 얕은 네트워크를 가능하게 하는가?
• RQ4 ImageNet 및 CIFAR-10 분류 작업에서 다중 격자 네트워크의 성능이 표준 및 잔차 CNN과 비교해 어떻게 되는가?
• RQ5 하나의 다중 격자 아키텍처가 작업별 특화된 아키텍처 재설계 없이도 다양한 비전 작업(분류, 세분화, 변환)을 효과적으로 처리할 수 있는가?

주요 결과

• ResNet-34의 다중 격자 변형인 R-MG-34는 더 깊은 ResNet-50보다 ImageNet에서 더 높은 top-1 정확도를 달성하며, 깊이가 적은 경우 성능 향상을 보여준다.
• R-MG-34는 파rameter 수와 FLOPs가 훨씬 적은 더 넓은 잔차 네트워크(WRN-34)보다도 뛰어난 성능을 보이며, 파라미터 및 계산 효율성이 향상됨을 보여준다.
• 점진적 다중 격자 네트워크인 R-PMG-30-SEG는 ResNet-34보다 ImageNet 분류에서 뛰어난 성능을 달성하며, 다중 격자 아키텍처의 통합 잠재력을 뒷받침한다.
• 합성 공간 변환 작업에서 PMG와 R-PMG 네트워크만 작업을 성공적으로 학습하며, U-Net과 같은 표준 CNN은 완전히 실패한다. 이는 주의 기반 작업에서 다중 격자가 필수적임을 시사한다.
• 차폐 분석을 통해 생성된 주의 맵은 PMG와 R-PMG 네트워크가 이동 불변 주의를 보이며, 표준 CNN은 입력 이동에 관계없이 고정된 비적응 영역에 주의를 집중함을 보여준다.
• 다중 격자 네트워크는 깊이에 따라 지수적 수준의 수용장역성 성장이 가능해 로그형 깊이에서 전체 맥락 통합이 가능하며, 표준 CNN은 유사한 맥락을 위해 매우 깊은 스택이 필요로 한다.