[논문 리뷰] Not All Pixels Are Equal: Difficulty-aware Semantic Segmentation via Deep Layer Cascade

Xiaoxiao Li, Ziwei Liu외 3명|arXiv (Cornell University)|2017. 04. 05.

Advanced Neural Network Applications참고 문헌 13인용 수 25

한 줄 요약

이 논문은 단일 딥 네트워크를 하위 모델의 연쇄 구조로 간주하는 난이도 인식형 세분화 프레임워크인 딥 레이어 캐스케이드(LC)를 제안한다. 이는 초기 단계에서 쉬운, 높은 신뢰도를 가진 픽셀을 처리하고 점차로 더 어려운 영역을 더 깊은 단계로 전달한다. 모호한 영역에만 계산을 집중함으로써 LC는 PASCAL VOC 및 Cityscapes에서 최신 기준(mIoU)을 달성하면서 동시에 추론 속도를 크게 향상시켰다 (예: VOC12에서 14.3 FPS), DeepLab-v2보다 15배 빠른 속도와 1.5% 낮은 정확도 손실을 기록하며 앞서는 성능을 보였다.

ABSTRACT

We propose a novel deep layer cascade (LC) method to improve the accuracy and speed of semantic segmentation. Unlike the conventional model cascade (MC) that is composed of multiple independent models, LC treats a single deep model as a cascade of several sub-models. Earlier sub-models are trained to handle easy and confident regions, and they progressively feed-forward harder regions to the next sub-model for processing. Convolutions are only calculated on these regions to reduce computations. The proposed method possesses several advantages. First, LC classifies most of the easy regions in the shallow stage and makes deeper stage focuses on a few hard regions. Such an adaptive and 'difficulty-aware' learning improves segmentation performance. Second, LC accelerates both training and testing of deep network thanks to early decisions in the shallow stage. Third, in comparison to MC, LC is an end-to-end trainable framework, allowing joint learning of all sub-models. We evaluate our method on PASCAL VOC and Cityscapes datasets, achieving state-of-the-art performance and fast speed.

연구 동기 및 목표

• 실시간 배포를 제한하는 깊이 있는 세분화 모델의 높은 계산 비용을 해결하기 위해.
• 더 깊은 네트워크 단계가 반복적인 쉬운 픽셀이 아닌 어려운 분류 영역에 집중할 수 있도록 하여 정확도를 향상시키기 위해.
• 신뢰도 높은 예측을 조기에 기각함으로써 컨볼루션 계산을 줄여 훈련 및 추론 속도를 가속화하기 위해.
• 기존의 초기 단계가 고정된 모델 캐스케이드와 달리, 모든 단계를 동시에 최적화할 수 있는 엔드 투 엔드 훈련 가능한 캐스케이드 프레임워크를 설계하기 위해.
• PASCAL VOC 및 Cityscapes와 같은 다양한 데이터셋에 대해 최소한의 아키텍처 수정으로도 일반화 성능을 입증하기 위해.

제안 방법

• 단일 딥 네트워크를 여러 하위 모델의 연쇄 구조로 분해하며, 각 하위 모델은 네트워크의 레이어 또는 단계에 대응한다.
• 각 단계에서 높은 신뢰도(예: 95% 이상의 소프트맥스 점수)를 가진 픽셀은 기각되고 더 이상 처리되지 않으며, 불확실하거나 어려운 픽셀은 앞으로 전달된다.
• 오직 어려운 영역(중간 및 극도로 어려운 집합)만 더 깊은 단계에서 처리되며, 영역 기반 컨볼루션을 통해 계산 부담을 줄인다.
• 프레임워크는 엔드 투 엔드 훈련 가능하며, 모든 단계의 공동 최적화를 통해 특징 학습과 세분화 정확도를 향상시킬 수 있다.
• 아키텍처를 레이어 단위의 캐스케이드 구조로 변형함으로써 다양한 백본(예: IRNet, ResNet)에 적용된다.
• 더 깊은 단계에서 어려운 영역에 집중함으로써 감독을 집중시킴으로써 난이도 인식 손실 전략이 암묵적으로 적용되며, 모호한 경계에서의 과적합을 줄인다.

실험 결과

연구 질문

• RQ1 캐스케이드된 딥 네트워크 아키텍처가 더 깊은 레이어를 어려운 영역에 집중시킴으로써 세분화 정확도를 향상시킬 수 있는가?
• RQ2 높은 신뢰도를 가진 픽셀을 조기에 기각함으로써 정확도를 훼손하지 않으면서도 훈련 및 추론 중 계산 비용을 줄일 수 있는가?
• RQ3 엔드 투 엔드 훈련 가능한 캐스케이드 프레임워크가 초기 단계가 고정된 기존의 모델 캐스케이드보다 성능이 뛰어나게 될 수 있는가?
• RQ4 난이도 인식 캐스케이드 메커니즘이 PASCAL VOC 및 Cityscapes와 같은 다양한 데이터셋에 얼마나 잘 일반화되는가?
• RQ5 DeepLab-v2 및 CRF-RNN과 같은 최신 기준 모델과의 속도-정확도 트레이드오프에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• PASCAL VOC 2012 테스트 세트에서 IRNet-LC는 1.0 FPS로 mIoU 80.3%를 기록했으며, COCO 전훈련이나 CRF 후처리를 사용하지 않은 DPN(77.5%) 및 CRF-RNN(74.7%)를 초월했다.
• VOC12에서 IRNet-LC는 단지 1.5% 낮은 mIoU를 기록했지만 14.3 FPS의 빠른 속도를 기록했으며, DeepLab-v2(79.7%)보다 15배 빠른 속도를 기록함으로써 경쟁 가능한 정확도를 유지했다.
• Cityscapes에서 LC는 mIoU 71.1%를 기록했으며, 다양한 환경 및 객체 유형에 대해 강력한 일반화 성능을 보였다.
• 초기 단계에서 최소 40%의 픽셀이 기각되어 계산이 감소했으며, 특히 배경 영역에서 1개 객체 유형당 평균 30%의 픽셀이 95% 이상의 신뢰도로 분류되었기 때문이다.
• 세부적인 형태나 형태가 유연한 '울타리', '기둥', '표지판', '트럭', '버스', '자전거'와 같은 전통적으로 어려운 클래스에서 LC는 최신 기준 방법들을 능가했다.
• 시각적 비교 결과, 특히 고도로 모호한 경계 영역에서 DPN 및 DeepLab-v2보다 LC가 더 정확하고 일관성 있는 세분화 지도를 생성하는 것으로 나타났다.