[논문 리뷰] Graph-guided Architecture Search for Real-time Semantic Segmentation

Pei‐Wen Lin, Peng Sun외 4명|arXiv (Cornell University)|2019. 09. 15.

Advanced Neural Network Applications참고 문헌 52인용 수 6

한 줄 요약

이 논문은 셀 수준의 아키텍처 다양성을 가능하게 하고 상호 셀 통신을 위해 그래프 컬러션 네트워크(GCN)를 통합함으로써 셀 공유 제약 조건을 제거한 실시간 세분화를 위한 새로운 NAS 프레임워크인 그래프 가이드드 아키텍처 서치(GAS)를 제안한다. 지연 시간 중심의 제약 조건을 통합하여, Cityscapes에서 108.4 FPS에서 73.5% mIoU를 달성하며 기존 실시간 방법들보다 정확도-속도 트레이드오프에서 뛰어난 성능을 보였다.

ABSTRACT

Designing a lightweight semantic segmentation network often requires researchers to find a trade-off between performance and speed, which is always empirical due to the limited interpretability of neural networks. In order to release researchers from these tedious mechanical trials, we propose a Graph-guided Architecture Search (GAS) pipeline to automatically search real-time semantic segmentation networks. Unlike previous works that use a simplified search space and stack a repeatable cell to form a network, we introduce a novel search mechanism with new search space where a lightweight model can be effectively explored through the cell-level diversity and latencyoriented constraint. Specifically, to produce the cell-level diversity, the cell-sharing constraint is eliminated through the cell-independent manner. Then a graph convolution network (GCN) is seamlessly integrated as a communication mechanism between cells. Finally, a latency-oriented constraint is endowed into the search process to balance the speed and performance. Extensive experiments on Cityscapes and CamVid datasets demonstrate that GAS achieves the new state-of-the-art trade-off between accuracy and speed. In particular, on Cityscapes dataset, GAS achieves the new best performance of 73.5% mIoU with speed of 108.4 FPS on Titan Xp.

연구 동기 및 목표

• 경량 세분화 네트워크에서 수작업으로 정확도와 추론 속도를 균형 잡는 데 도전하는 문제를 해결하기 위해.
• 기존 NAS 방법이 반복적이고 동일한 셀에 의존함으로써 아키텍처 다양성이 제한되고 최적의 속도-정확도 트레이드오프를 달성하기 어려운 한계를 극복하기 위해.
• 셀 간 통신를 통해 성능을 유지하면서도 셀 간 의존성이 없는 검색을 통해 다양한 셀 아키텍처를 유연하게 구현하기 위해.
• 엣지 장치에서 실시간 배포를 위해 직접 최적화할 수 있도록 검색 과정에 지연 시간 중심의 제약 조건을 통합하기 위해.

제안 방법

• 각 셀이 고유한 아키텍처를 가질 수 있도록 허용하는 셀 독립적 검색 공간을 도입하여, 레이어 간 다양한 계산 비용을 가능하게 한다.
• 셀 간 통신 메커니즘으로 그래프 컬러션 네트워크(GCN)를 사용하여, 학습된 추론 그래프를 통해 아키텍처 결정 간의 의존성을 모델링한다.
• 구조적 관계를 유지하고 셀 간 연산 선택을 안내하기 위해 간선 유사도를 기반으로 추론 그래프를 구성한다.
• mIoU와 추론 속도를 균형 잡기 위해 하이퍼파rameter β를 사용하는 지연 시간 중심의 손실 항목을 검색 목표에 통합한다.
• 셀 연산이 미분 가능하고 GCN 가이드드 통신과 함께 공동 최적화되는 연속적 NAS 프레임워크를 사용하여 아키텍처 검색을 수행한다.
• 최종 네트워크는 타겟 데이터셋에서의 단순 미세조정만을 사용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 셀이 반복되지 않는 비동일한 아키텍처를 허용함으로써 실시간 세분화에서 뛰어난 정확도-속도 트레이드오프를 달성할 수 있는가?
• RQ2 셀이 더 이상 공유되지 않을 경우 GCN를 통한 상호 셀 통신이 검색 효율성과 성능에 어떻게 기여하는가?
• RQ3 공유되지 않는 셀 설정에서 셀 아키텍처 결정을 안내하기 위한 최적의 추론 그래프 구성 방법은 무엇인가?
• RQ4 검색 목표에 지연 시간 중심의 제약 조건을 통합할 경우 정확도를 희생시키지 않고 배포 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• Titan Xp를 사용하여 Cityscapes 검증 세트에서 108.4 FPS에서 73.5% mIoU를 달성하며, 실시간 세분화 분야에서 새로운 SOTA를 수립했다.
• 간선 유사도 기반 추론 그래프를 사용할 경우 운영자 신뢰도 그래프보다 우수한 성능을 보였으며, 72.4% mIoU와 108.4 FPS를 달성한 반면, 운영자 신뢰도 그래프의 경우 70.9% mIoU와 102.2 FPS를 기록했다.
• GCN 가이드드 모듈은 검색 안정성과 성능을 크게 향상시켜 셀을 독립적으로 검색할 경우 정확도 저하를 줄였다.
• 지연 시간 손실 항목에서 β = 0.005를 사용할 경우 균형 잡힌 트레이드오프를 달성하여 지연 시간이 급격히 감소하고 정확도는 약간만 감소했다.
• 네트워크 시각화 결과, GGM을 갖춘 GAS는 더 효율적인 파라미터 사용을 위한 연산들, 예를 들어 확장 및 디프트와이즈 분리 컨벌루션을 선호하는 것으로 확인되어 셀 간 부담 공유가 효과적으로 이루어지고 있음을 시사한다.
• 제거 실험 결과, GCN 없이 셀 독립성을 유지할 경우 성능 저하가 발생함을 확인하여 통신 메커니즘의 필요성을 입증했다.