[논문 리뷰] Searching for Efficient Multi-Scale Architectures for Dense Image Prediction

Liang-Chieh Chen, Maxwell D. Collins외 6명|arXiv (Cornell University)|2018. 09. 11.

Domain Adaptation and Few-Shot Learning인용 수 339

한 줄 요약

이 논문은 Dense image prediction에 신경망 아키텍처 검색을 적용하여 Dense Prediction Cells(DPCs)와 빠른 프록시 태스크를 도입하고, Cityscapes, PASCAL-Person-Part, PASCAL VOC 2012에서 수작업으로 설계된 모델보다 우수한 아키텍처를 발견한다.

ABSTRACT

The design of neural network architectures is an important component for achieving state-of-the-art performance with machine learning systems across a broad array of tasks. Much work has endeavored to design and build architectures automatically through clever construction of a search space paired with simple learning algorithms. Recent progress has demonstrated that such meta-learning methods may exceed scalable human-invented architectures on image classification tasks. An open question is the degree to which such methods may generalize to new domains. In this work we explore the construction of meta-learning techniques for dense image prediction focused on the tasks of scene parsing, person-part segmentation, and semantic image segmentation. Constructing viable search spaces in this domain is challenging because of the multi-scale representation of visual information and the necessity to operate on high resolution imagery. Based on a survey of techniques in dense image prediction, we construct a recursive search space and demonstrate that even with efficient random search, we can identify architectures that outperform human-invented architectures and achieve state-of-the-art performance on three dense prediction tasks including 82.7\% on Cityscapes (street scene parsing), 71.3\% on PASCAL-Person-Part (person-part segmentation), and 87.9\% on PASCAL VOC 2012 (semantic image segmentation). Additionally, the resulting architecture is more computationally efficient, requiring half the parameters and half the computational cost as previous state of the art systems.

연구 동기 및 목표

• Dense image prediction을 위한 자동 아키텍처 설계를 촉진하고, 이미지 분류를 넘어서의 가능성을 모색한다.
• 고해상도 영상에서 다중 스케일 컨텍스트를 포착하는 실행 가능한 탐색 공간을 구성한다.
• 전체 대규모 학습 없이 후보 아키텍처를 평가할 수 있는 빠른 프록시 태스크를 개발한다.
• 제안된 공간에서의 랜덤 탐색이 다수의 dense prediction 작업에서 인간이 설계한 아키텍처를 능가할 수 있음을 보여준다.

제안 방법

• Dense Prediction Cell(DPC)을 DAG 기반의 다중 분기 모듈로 정의하고, 분기 출력들을 연결하여 다중 스케일 컨텍스트를 형성한다.
• 각 분기 입력을 백본 피처 맵 또는 앞선 분기 출력 중 하나로 지정해 재귀적이고 다중 스케일 연결을 가능하게 한다.
• 1x1 합성곱, 다양한 비율의 3x3 atrous separable 합성곱, 서로 다른 격자 크기의 공간 피라미드 풀링을 포함한 연산자 옵션을 설명한다.
• 분기 출력을 연결(concatenation)하여 DPC 출력을 형성하고, 병렬 및 연쇄적 컨텍스트 집계를 가능하게 한다.
• 크고도 다루기 쉬운 탐색 공간을 구성한다: B=5 분기로, 총 구성은 대략 B! × 81^B 이다.
• 주어진 평가 예산하에서 고성능 아키텍처를 찾기 위해 랜덤 탐색이 포함된 블랙박스 최적화 방법(Vizier)을 활용한다.

실험 결과

연구 질문

• RQ1 메타러닝 / 신경망 아키텍처 검색이 dense prediction 과제에 대해 작고 고성능의 다중 스케일 아키텍처를 발견할 수 있는가?
• RQ2 정교하게 설계된 재귀적 다중 스케일 탐색 공간(DPC)과 빠른 프록시 태스크가 장면 라벨링 및 관련 작업에서 인간이 설계한 모델을 능가하는 아키텍처를 낳는가?
• RQ3 발견된 DPC 아키텍처가 Cityscapes, PASCAL-Person-Part, PASCAL VOC 2012 전반에 걸쳐 기존 최첨단 방법들과 정확도 및 효율성 면에서 어떻게 비교되는가?

주요 결과

• Dense Prediction Cell 공간에 대한 무작위 탐색은 세 가지 dense prediction 과제에서 인간이 설계한 기준선보다 우수한 아키텍처를 식별할 수 있다.
• 최고의 DPC 아키텍처는 Cityscapes 테스트에서 82.7% mIOU를 달성했고, 이전 최첨단보다 0.7 포인트 상회했다.
• 동일 아키텍처를 PASCAL-Person-Part 및 PASCAL VOC 2012에 적용했을 때 각각 71.34%와 87.9% mIOU를 달성하며 이전 결과를 초과했다.
• 학습된 DPC는 강력한 백본(Xception)을 사용할 때 이전 최첨단 시스템에 비해 대략 절반의 매개변수와 대략 절반의 Multiply-Adds(MAdds)가 필요했다.
• 작은 백본과 캐시된 활성화를 사용한 설계된 프록시 태스크가 대규모 성능과 상관관계를 보이며(스피어만 상관계수 약 0.47까지), 효율적인 아키텍처 탐색을 가능하게 한다.