[논문 리뷰] Learning Dynamic Routing for Semantic Segmentation

Yanwei Li, Lin Song외 5명|arXiv (Cornell University)|2020. 03. 23.

Advanced Neural Network Applications참고 문헌 57인용 수 13

한 줄 요약

이 논문은 입력 이미지의 특성에 따라 최적의 스케일 변환 경로를 선택할 수 있는 데이터에 의존하는 적응형 네트워크 아키텍처를 가능하게 하는 동적 라우팅을 제안한다. 미분 가능한 소프트 조건부 게이트를 사용하여, 계산 예산 내에서 기여도가 낮은 경로를 동적으로 제거함으로써 FLOPs를 크게 줄이며 최신 기술 수준의 성능을 달성한다. 이는 Cityscapes 및 PASCAL VOC 2012에서 고정된 아키텍처보다 뛰어난 성능을 보인다.

ABSTRACT

Recently, numerous handcrafted and searched networks have been applied for semantic segmentation. However, previous works intend to handle inputs with various scales in pre-defined static architectures, such as FCN, U-Net, and DeepLab series. This paper studies a conceptually new method to alleviate the scale variance in semantic representation, named dynamic routing. The proposed framework generates data-dependent routes, adapting to the scale distribution of each image. To this end, a differentiable gating function, called soft conditional gate, is proposed to select scale transform paths on the fly. In addition, the computational cost can be further reduced in an end-to-end manner by giving budget constraints to the gating function. We further relax the network level routing space to support multi-path propagations and skip-connections in each forward, bringing substantial network capacity. To demonstrate the superiority of the dynamic property, we compare with several static architectures, which can be modeled as special cases in the routing space. Extensive experiments are conducted on Cityscapes and PASCAL VOC 2012 to illustrate the effectiveness of the dynamic framework. Code is available at https://github.com/yanwei-li/DynamicRouting.

연구 동기 및 목표

• 입력에 특화된 스케일 분포에 맞게 네트워크 아키텍처를 적응시킴으로써 의미 분할에서의 스케일 변동성을 해결하고자 한다.
• 입력마다 최적의 특징 변환 경로를 선택할 수 있는, 미분 가능한 엔드 투 엔드 학습이 가능한 라우팅 메커니즘을 설계하고자 한다.
• 계산 예산 제약 조건 하에서 기여도가 낮은 연산을 동적으로 제거하여 효율성을 향상시키고자 한다.
• 각 순전파 단계 내에서 다중 경로 및 스킵 연결 전파를 지원함으로써 표현 능력을 향상시키고자 한다.
• 표준 벤치마크에서 정적 아키텍처 대비 정확도와 효율성 측면에서 뛰어난 성능을 입증하고자 한다.

제안 방법

• 추론 중에 입력 이미지의 스케일 분포에 맞게 데이터에 의존하는 순전파 경로를 생성하는 동적 라우팅 프레임워크를 제안한다.
• 입력 특징에 기반하여 스케일 변환 경로를 선택하는, 미분 가능한 소프트 조건부 게이트를 도입함으로써 엔드 투 엔드 최적화를 가능하게 한다.
• 단일 경로 파이프라인을 초월하는 라우팅 공간을 완화함으로써 각 순전파 단계 내에서 다중 경로 및 스킵 연결 전파를 가능하게 한다.
• 학습 가능한 계수(λ₂, μ)를 통해 예산 제약 조건을 구현하여 기여도가 낮은 셀과 경로를 동적으로 제거함으로써 FLOPs를 감소시킨다.
• 효율성을 유지하면서도 뛰어난 성능을 달성하기 위해 복잡한 기능을 추가하지 않은 단순한 스케일 변환 모듈을 사용한다.
• 아우트라이닝 및 비교를 위해 다양한 정적 아키텍처(예: FCN, U-Net, DeepLab)를 라우팅 공간 내 특수 케이스로 지원한다.

실험 결과

연구 질문

• RQ1 입력에 특화된 스케일 분포에 맞게 네트워크 아키텍처를 적응시키는 동적 라우팅 메커니즘이 의미 분할 성능을 향상시킬 수 있는가?
• RQ2 제안된 소프트 조건부 게이트는 데이터에 의존하는 라우팅 결정을 어떻게 미분 가능하고 엔드 투 엔드로 학습할 수 있도록 하는가?
• RQ3 예산 제약 조건 하에서 기여도가 낮은 경로를 동적으로 제거함으로써 계산 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 각 순전파 단계에 다중 경로 및 스킵 연결 메커니즘을 포함시킬 경우, 단일 경로 라우팅 대비 표현 능력이 향상되는가?
• RQ5 고정된 아키텍처 모델 및 NAS 기반 방법 대비 동적 라우팅 프레임워크는 정확도와 효율성 측면에서 어떻게 비교되는가?

주요 결과

• Cityscapes에서 동적 네트워크는 검증 세트에서 78.6% mIoU를 기록하여 BiSeNet 대비 3.8%p의 절대적 성능 향상을 보였으며, 유사한 FLOP 비용을 유지했다.
• PSP 블록을 사용할 경우, 동적 모델은 Cityscapes 테스트 세트에서 80.7% mIoU를 달성하여 최신 기술 수준의 성능을 낼 뿐 아니라 자원을 더 적게 사용했다.
• PASCAL VOC 2012에서 동적 네트워크는 30.8 GFLOPs로 84.0% mIoU(검증 세트)를 기록하여, 유사한 FLOP 예산 내에서 Auto-DeepLab 및 MobileNet 기반 DeepLabV3를 능가했다.
• 55.7% FLOP 예산 하에서, Dynamic-C는 원본 동적 모델 대비 계산 비용을 44.3% 감소시켰으며, mIoU는 단지 0.4% 감소에 그쳤다.
• 동적 라우팅 프레임워크는 원래 비용의 37.6%로 FLOPs를 감소시켰으며, 강력한 성능 유지를 보이며 효과적인 효율성 제어를 입증했다.
• 아우트라이닝 연구 결과, 제안된 라우팅 공간 내 특수 케이스인 정적 아키텍처보다 동적 라우팅 메커니즘이 일관되게 뛰어난 성능을 보임을 확인했다.