[논문 리뷰] Exploring Randomly Wired Neural Networks for Image Recognition

Saining Xie, Alexander Kirillov외 2명|arXiv (Cornell University)|2019. 04. 02.

Advanced Neural Network Applications참고 문헌 50인용 수 82

한 줄 요약

요약: 이 논문은 고전적 무작위 그래프 모델 ER, BA, WS에서 생성된 RandWire(무작위로 배선된 신경망)를 연구하고, hand-designed 배선이나 연산 탐색 없이도 경쟁력 있는 ImageNet 정확도를 달성할 수 있음을 보여 주며, 네트워크 생성기가 설계의 핵심 요소임을 강조한다.

ABSTRACT

Neural networks for image recognition have evolved through extensive manual design from simple chain-like models to structures with multiple wiring paths. The success of ResNets and DenseNets is due in large part to their innovative wiring plans. Now, neural architecture search (NAS) studies are exploring the joint optimization of wiring and operation types, however, the space of possible wirings is constrained and still driven by manual design despite being searched. In this paper, we explore a more diverse set of connectivity patterns through the lens of randomly wired neural networks. To do this, we first define the concept of a stochastic network generator that encapsulates the entire network generation process. Encapsulation provides a unified view of NAS and randomly wired networks. Then, we use three classical random graph models to generate randomly wired graphs for networks. The results are surprising: several variants of these random generators yield network instances that have competitive accuracy on the ImageNet benchmark. These results suggest that new efforts focusing on designing better network generators may lead to new breakthroughs by exploring less constrained search spaces with more room for novel design.

연구 동기 및 목표

• 수동 배선 제약을 무작위 그래프 생성기로 완화하면 경쟁력 있는 이미지 인식 모델을 얻을 수 있는지 동기 부여하고 평가한다.
• 네트워크 생성기 프레임워크를 정의하고 무작위 그래프 모델이 신경망을 어떻게 구현할 수 있는지 보여준다.
• 작고 정규적이며 큰 계산 규모에서 RandWire 네트워크를 ImageNet에서 평가하고 hand-designed 및 NAS 아키텍처와 비교한다.

제안 방법

• 매개변수 집합 θ와 시드 s를 신경망 아키텍처로 매핑하는 네트워크 생성기 g를 정의한다.
• ER, BA, WS 모델로부터 무작위 그래프를 샘플링하고 그래프를 노드 연산으로 매핑하여 DAG를 생성함으로써 완전한 신경망을 생성한다.
• 양의 가중치를 가진 입력을 모으고 ReLU-합성곱-BN 변환을 적용하는 간단한 노드 연산 설계를 사용하여, 배선에 따른 FLOPs를 대략 독립적으로 유지한다.
• 전통적인 CNN(ResNet/DenseNet 스타일)과 유사한 입력/출력 처리 및 점진적 다운샘플링과 함께 여러 단계로 네트워크를 구성한다.
• 고정 예산 하에서 RandWire 인스턴스를 ImageNet에서 학습시키고, 5개의 시드에 걸친 평균 정확도와 표준편차를 보고하며, 제너레이터별 랜덤 탐색은 수행하지 않는다.
• 여러 FLOP/매개변수 예산 하에서 RandWire를 ResNet/ResNeXt 및 NAS 기반 모델과 비교한다.

실험 결과

연구 질문

• RQ1 고전적 무작위 그래프 모델에서 생성된 무작위로 배선된 네트워크가 hand-designed 및 NAS 설계 아키텍처와 비교해 경쟁력 있는 ImageNet 정확도를 달성할 수 있는가?
• RQ2 그래프 생성기 ER, BA, WS 및 그 매개변수의 선택이 RandWire 모델의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 노드 연산 선택 및 네트워크 구성 단계가 배선이 무작위일 때 성능에 어떤 영향을 주는가?
• RQ4 RandWire의 성능은 작은, 규칙적인, 큰 계산 규모에서 일반적인 아키텍처에 비해 어떻게 확장되는가?

주요 결과

네트워크	Top-1 정확도	Top-5 정확도	FLOPs (백만)	매개변수 (백만)
RandWire-WS (small regime)	74.7 ±0.25	92.2 ±0.15	583 ±6.2	5.6 ±0.1
ResNet-50	77.1	93.5	4.1	25.6
ResNeXt-50	78.4	94.0	4.2	25.0
RandWire-WS (109)	79.0 ±0.17	94.4 ±0.11	4.0 ±0.09	31.9 ±0.66
ResNet-101	78.8	94.4	7.8	44.6
ResNeXt-101	79.5	94.6	8.0	44.2
RandWire-WS (154)	80.1 ±0.19	94.8 ±0.18	7.9 ±0.18	61.5 ±1.32

• ER, BA, WS 모델로 생성된 무작위 배선 네트워크가 ImageNet에서 경쟁력 있는 정확도를 달성하며, 유사한 컴퓨트에서 WS 기반 생성기가 수작업으로 설계된 상대와 종종 일치하거나 그 이상을 달성한다.
• WS 기반 RandWire 변형은 상당한 FLOPs를 사용하고 일부 설정에서 더 적은 매개변수로 여러 NAS 및 수작업 설계 네트워크를 능가하거나 동등한 수준일 수 있다.
• 적절한 매개변수를 가진 WS 모델(예: WS(4,0.75))이 작은 계산 규모에서 최상의 평균 정확도(대략 Top-1 74.7% 근처)를 얻는다.
• 주어진 제너레이터에서의 5개 시드 간 정확도 편차가 작고(일반적으로 표준편차 약 0.2%~0.4%), 평균 성능은 제너레이터 간에 뚜렷하게 다르므로 제너레이터 설계가 의미 있는 사전 정보를 암호화한다.
• 노드 연산 선택(3x3 분리합성곱, 일반 합성곱, 또는 풀-먼저-합성곱)이 생성기의 상대 순위에 미치는 영향은 제한적이며, 배선 패턴이 연산 유형과 직교적으로 기여함을 시사한다.
• RandWire 네트워크는 규칙적 계산 규모에서 경쟁적인 결과를 달성하며(예: RandWire-WS, C=109/154) 더 큰 모델에서 Top-1 정확도가 80% 이상에 도달할 수 있으며, ResNet/ResNeXt 기준선과 비교해 FLOPs는 더 적고 매개변수는 비슷한 수준이다.