[논문 리뷰] Customizable Architecture Search for Semantic Segmentation

Yiheng Zhang, Zhaofan Qiu외 4명|arXiv (Cornell University)|2019. 08. 26.

Advanced Neural Network Applications참고 문헌 37인용 수 12

한 줄 요약

이 논문은 사용자가 정의한 제약 조건(예: 추론 속도, 모델 크기) 하에서 네트워크 아키텍처와 가중치를 동시에 최적화하는 가변형 신경망 아키텍처 탐색 방법인 커스터마이저블 아키텍처 탐색(CAS)을 제안한다. 계산 셀을 미분 가능한 방향성 비순환 그래프(DAG)로 모델링하고 비용 인식 작업을 통합함으로써, 단일 TitanXp GPU로 Cityscapes에서 108 FPS에서 72.3% mIoU를 달성하며, 최신 실시간 방법들보다 정확도와 속도 면에서 뛰어나다.

ABSTRACT

In this paper, we propose a Customizable Architecture Search (CAS) approach to automatically generate a network architecture for semantic image segmentation. The generated network consists of a sequence of stacked computation cells. A computation cell is represented as a directed acyclic graph, in which each node is a hidden representation (i.e., feature map) and each edge is associated with an operation (e.g., convolution and pooling), which transforms data to a new layer. During the training, the CAS algorithm explores the search space for an optimized computation cell to build a network. The cells of the same type share one architecture but with different weights. In real applications, however, an optimization may need to be conducted under some constraints such as GPU time and model size. To this end, a cost corresponding to the constraint will be assigned to each operation. When an operation is selected during the search, its associated cost will be added to the objective. As a result, our CAS is able to search an optimized architecture with customized constraints. The approach has been thoroughly evaluated on Cityscapes and CamVid datasets, and demonstrates superior performance over several state-of-the-art techniques. More remarkably, our CAS achieves 72.3% mIoU on the Cityscapes dataset with speed of 108 FPS on an Nvidia TitanXp GPU.

연구 동기 및 목표

• 실제 하드웨어 및 속도 제약 조건 하에서 경량이면서 고성능의 의미 분할 네트워크 설계를 자동화하기 위해.
• 전문가의 노력이 필요하고 동적 배포 환경에 유연성이 떨어지는 수작업으로 설계된 아키텍처의 한계를 해결하기 위해.
• 정확도, 추론 속도, 모델 크기 간의 균형을 고려한 최적의 계산 셀을 종단 간 탐색하기 위해.
• Cityscapes 및 CamVid와 같은 다양한 데이터셋 간에 학습된 아키텍처의 이식 가능성을 입증하기 위해.
• 실시간 엣지 디바이스에 적합한 커스터마이저블, 미분 가능한 탐색 프레임워크를 제공하기 위해.

제안 방법

• 네트워크는 각각 기능 맵을 노드로, 가중치가 학습 가능한 연산(예: 컨볼루션, 풀링)을 엣지로 가지는 미분 가능한 방향성 비순환 그래프(DAG)로 모델링된 계산 셀의 스택으로 구성된다.
• 다중 척도 특징을 융합함으로써 특징 표현을 향상시키기 위해 백본에 다중 척도 셀이 추가된다.
• 검증 세트에서 경사 하강법을 사용해 셀 아키텍처와 가중치를 동시에 최적화하는 DARTS 방식의 미분 가능한 아키텍처 탐색을 사용해 탐색 과정을 수행한다.
• 각 연산에 FLOPs, 지연 시간 등 비용이 할당되며, 이는 탐색 중 누적되어 제약 조건 인식 아키텍처 탐색을 가능하게 한다.
• 동일한 셀 유형(예: 정상 또는 감소)은 동일한 아키텍처를 공유하지만 별도의 학습된 가중치를 사용함으로써 중복을 줄인다.
• 최종 아키텍처는 탐색을 통해 얻은 셀 구성으로 종단 간 훈련되며, 실시간 제약 조건 하에서 Cityscapes 및 CamVid에서 평가된다.

실험 결과

연구 질문

• RQ1 사용자가 정의한 계산 제약 조건 하에서, 미분 가능한 아키텍처 탐색 방법이 효과적으로 경량 의미 분할 네트워크를 생성할 수 있는가?
• RQ2 탐색을 통해 학습된 아키텍처의 성능은 수작업으로 설계된 실시간 모델 대비 mIoU와 추론 속도 측면에서 어떻게 비교되는가?
• RQ3 Cityscapes와 같은 데이터셋에서 학습된 네트워크 아키텍처가 CamVid와 같은 다른 데이터셋으로 얼마나 잘 일반화되는가?
• RQ4 탐색 공간에 비용 인식 작업을 통합하면 정확도와 추론 효율성 간의 트레이드오프를 더 잘 개선할 수 있는가?
• RQ5 제안된 다중 척도 셀은 계산 비용을 크게 증가시키지 않으면서 특징 표현을 향상시키는가?

주요 결과

• CAS-GT+MSCell은 단일 TitanXp GPU로 Cityscapes 테스트 세트에서 108 FPS에서 72.3% mIoU를 달성하며, BiSeNet-Xception39보다 정확도와 속도 면에서 모두 뛰어나다.
• CamVid에서 동일한 아키텍처는 169 FPS에서 71.2% mIoU를 기록하며, BiSeNet-Res18보다 mIoU가 2.5% 높고 훨씬 더 빠르다.
• 수작업으로 설계된 다중 척도 셀 대비 mIoU는 3.6% 향상되었고, 추론 시간은 단지 5.4ms 증가하여 효율성-정확도 트레이드오프 면에서 열등함을 보여준다.
• 탐색 과정은 정확도와 효율성을 동시에 확보한 아키텍처를 성공적으로 발견했으며, ICNet, ENet, SQ와 같은 이전 실시간 모델들 대비 1.0%에서 12.2%의 성능 향상을 보였다.
• Cityscapes에서 학습된 아키텍처가 CamVid로 이식 가능한 것으로 확인되어 제안된 방법의 일반화 능력을 입증한다.
• 비용 인식 탐색 메커니즘이 모델 크기와 속도를 효과적으로 균형 잡아 다양한 하드웨어 플랫폼에서 커스터마이저블 배포를 가능하게 한다.