[논문 리뷰] Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes

Tobias Pohlen, Alexander Hermans외 2명|arXiv (Cornell University)|2016. 11. 24.

Advanced Neural Network Applications참고 문헌 52인용 수 17

한 줄 요약

이 논문은 도로 환경에서의 의미적 세그멘테이션을 위한 새로운 ResNet 유사 아키텍처인 Full-Resolution Residual Networks (FRRN)를 제안한다. 이 아키텍처는 한 번의 처리 스트림에서 전체 이미지 해상도를 유지하여 정밀한 경계 부착을 달성하면서도, 별도의 풀링된 스트림을 통해 강력한 특징 학습을 수행한다. 사전 훈련이나 후처리 없이도 FRRN은 Cityscapes 검증 세트에서 최신 기준인 71.8%의 평균 교차율(mIoU)을 달성한다.

ABSTRACT

Semantic image segmentation is an essential component of modern autonomous driving systems, as an accurate understanding of the surrounding scene is crucial to navigation and action planning. Current state-of-the-art approaches in semantic image segmentation rely on pre-trained networks that were initially developed for classifying images as a whole. While these networks exhibit outstanding recognition performance (i.e., what is visible?), they lack localization accuracy (i.e., where precisely is something located?). Therefore, additional processing steps have to be performed in order to obtain pixel-accurate segmentation masks at the full image resolution. To alleviate this problem we propose a novel ResNet-like architecture that exhibits strong localization and recognition performance. We combine multi-scale context with pixel-level accuracy by using two processing streams within our network: One stream carries information at the full image resolution, enabling precise adherence to segment boundaries. The other stream undergoes a sequence of pooling operations to obtain robust features for recognition. The two streams are coupled at the full image resolution using residuals. Without additional processing steps and without pre-training, our approach achieves an intersection-over-union score of 71.8% on the Cityscapes dataset.

연구 동기 및 목표

• 자율주행을 위한 의미적 세그멘테이션에서 국소화 정확도와 인식 성능 사이의 상충 관계를 해결하기 위해.
• 풀링 및 다운샘플링으로 인해 국소화 성능이 떨어지는 사전 훈련된 분류 네트워크의 한계를 극복하기 위해.
• 경계 정확도를 위해 전체 해상도 특징을 유지하는 경량이며 엔드 투 엔드로 훈련 가능한 아키텍처를 개발하기 위해.
• 일반적으로 경계를 정밀하게 다듬기 위해 사용되는 후처리 단계(예: CRF 스무딩)가 필요 없도록 하기 위해.
• 새로운 이중 스트림 아키텍처로 사전 훈련 없이 훈련하는 것이 벤치마크 데이터셋에서 최신 기준 성능을 달성하거나 초월할 수 있음을 보여주기 위해.

제안 방법

• 이중 스트림 아키텍처 설계: 하나의 스트림은 전체 이미지 해상도에서 특징을 처리한다(고해상도 스트림), 다른 하나는 풀링 연산을 적용하여 계층적이고 고수준의 표현을 구축한다(풀링 스트림).
• 전체 해상도에서 고해상도 스트림과 풀링 스트림 간의 잔차 연결을 가능하게 하는 전해상도 잔차 유닛(Full-Resolution Residual Units, FRRUs)을 도입하여 해상도 손실 없이 특징 융합을 실현한다.
• 풀링 스트림의 잔차 연결을 이용해 고해상도 스트림을 안내하고 풍부하게 하여, 거시적 의미적 맥락과 미세한 공간 정밀도를 결합한다.
• ImageNet 사전 훈련을 피하기 위해, Cityscapes 훈련 데이터만을 사용하여 전체 네트워크를 끝에서 끝까지 끝내기 전에 훈련한다.
• 양쪽 스트림 내에서 표준 컨볼루션 레이어, 배치 정규화, ReLU 활성화 함수를 사용하며, 공간 정렬을 유지하기 위해 언풀링을 통한 업샘플링을 적용한다.
• 확률적 경사 하강법을 사용하여 최적화하고, 가중치 감쇠와 코스인 안내 스케줄을 적용하며, 다중 클래스 세그멘테이션을 위해 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 ImageNet 모델에 의존하지 않고도, 완전히 컨볼루션 네트워크 아키텍처가 최신 기준의 의미적 세그멘테이션 성능을 달성할 수 있는가?
• RQ2 네트워크 전반에서 전체 해상도 특징 맵을 유지할 경우, 풀링을 포함하는 표준 FCN 접근 방식에 비해 경계 부착 성능이 향상되는가?
• RQ3 고해상도 스트림과 풀링된 특징 스트림을 결합한 이중 스트림 설계가 동시에 인식 성능와 국소화 성능을 향상시킬 수 있는가?
• RQ4 Cityscapes 벤치마크에서 mIoU 및 경계 정확도(트리마프 평가)와 같은 정량적 지표 측면에서 제안된 아키텍처는 기존 방법과 어떻게 비교되는가?
• RQ5 제안된 아키텍처를 사용할 경우, CRF 또는 유사 기법의 후처리가 필요한가, 아니면 자체적으로 고품질의 날카운 세그멘테이션 마스크를 생성하는가?

주요 결과

• FRRN은 Cityscapes 검증 세트에서 평균 교차율(mIoU) 점수 71.8%를 달성하여, ImageNet 사전 훈련을 사용하지 않아도 현재 최신 기준 수준의 성능을 달성한다.
• 모든 반경(1~80 픽셀)에서 트리마프 평가에서 모든 경쟁 모델보다 뛰어난 경계 부착 성능을 보이며, LRR 및 확장 컨볼루션 기반 모델보다 뛰어난 성능을 입증한다.
• 반해상도 이미지로 훈련해도 전체 해상도 입력으로 훈련된 방법과 동일한 성능을 달성하며, 강력한 인도크티브 바이어스와 효율적인 특징 학습 능력을 보여준다.
• 완전히 연결된 CRF를 통한 후처리로 mIoU가 약 0.5% 향상되었을 뿐이므로, 네트워크의 원천 예측이 이미 매우 정확하고 매끄럽다는 것을 시사한다.
• 아키텍처는 잘 일반화된다: 정성적 결과에서 얇은 기둥, 울타리, 복잡한 보도 경계와 같은 도전적인 케이스에서도 깔끔하고 정확한 예측을 보여준다.
• 제거 실험 결과, FRRUs를 포함한 이중 스트림 설계가 성능에 필수적임을 확인하였으며, 고해상도 스트림이나 FRRUs를 제거할 경우 mIoU가 크게 떨어진다.