[논문 리뷰] RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation

Guosheng Lin, Anton Milan외 2명|arXiv (Cornell University)|2016. 11. 20.

Advanced Neural Network Applications참고 문헌 41인용 수 63

한 줄 요약

RefineNet는 고수준의 의미적 특징과 저수준의 공간적 세부 정보를 결합하기 위해 장거리 잔차 연결을 활용하는 다중 경로 정련 네트워크입니다. 이는 고해상도 의미적 세분화를 가능하게 하며, 연결된 RefineNet 블록과 사슬형 잔차 풀링을 통해 최신 기술 수준의 성능을 달성합니다. PASCAL VOC 2012에서 83.4%의 mIoU를 기록했습니다.

ABSTRACT

Recently, very deep convolutional neural networks (CNNs) have shown outstanding performance in object recognition and have also been the first choice for dense classification problems such as semantic segmentation. However, repeated subsampling operations like pooling or convolution striding in deep CNNs lead to a significant decrease in the initial image resolution. Here, we present RefineNet, a generic multi-path refinement network that explicitly exploits all the information available along the down-sampling process to enable high-resolution prediction using long-range residual connections. In this way, the deeper layers that capture high-level semantic features can be directly refined using fine-grained features from earlier convolutions. The individual components of RefineNet employ residual connections following the identity mapping mindset, which allows for effective end-to-end training. Further, we introduce chained residual pooling, which captures rich background context in an efficient manner. We carry out comprehensive experiments and set new state-of-the-art results on seven public datasets. In particular, we achieve an intersection-over-union score of 83.4 on the challenging PASCAL VOC 2012 dataset, which is the best reported result to date.

연구 동기 및 목표

• 반복적인 풀링 및 스트라이딩 연산으로 인해 발생하는 공간적 세부 정보 손실 문제를 해결한다.
• 깊은 신경망의 다양한 단계에서 유도된 다중 수준 특징을 효과적으로 융합하여 고해상도 의미적 세분화를 가능하게 한다.
• 복원망(Deconvolutional) 업샘플링과 확장 컨볼루션의 한계를 극복한다. 이는 손실된 저수준 세부 정보를 복구하지 못하거나 과도한 계산 비용을 수반하기 때문이다.
• 정규화된 연결과 항등 맵핑을 활용한 잔차 연결을 통해 엔드 투 엔드 학습을 지원하는 학습 友好的 아키텍처를 개발한다.
• 효율적인 다중 척도 풀링 메커니즘을 통해 배경 영역의 맥락 모델링을 향상시킨다.

제안 방법

• 다양한 인코더 단계의 특징을 재귀적 정련 블록을 통해 융합하는 다중 경로 정련 네트워크(RefineNet)를 제안한다.
• 장거리 스킵 커넥션을 통해 효과적인 역전파를 가능하게 하기 위해 항등 맵핑을 활용한 잔차 연결을 적용한다.
• 증가하는 커널 크기를 가진 다중 풀링 연산을 적용하고, 잔차 연결 및 학습 가능한 가중치를 통해 이를 융합하는 사슬형 잔차 풀링을 도입한다.
• 다중 척도 특징을 사용하여 거칠고 고수준의 특징을 점진적으로 고해상도 예측으로 정련하는 데에 연결된 RefineNet 블록을 사용한다.
• 단일, 이중 또는 사중 연결된 RefineNet 버전과 다중 척도 입력 처리를 지원하는 탄력적인 아키텍처 설계를 가능하게 한다.
• 표준 역전파를 사용하여 전체 네트워크를 엔드 투 엔드로 학습시키며, 잔차 학습을 활용해 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 깊은 네트워크 아키텍처가 고수준 의미적 특징과 저수준 공간적 세부 정보를 효과적으로 융합하여 고해상도 의미적 세분화를 향상시킬 수 있는가?
• RQ2 장거리 잔차 연결을 어떻게 활용하여 정련 기반 세분화 네트워크에서 효과적인 엔드 투 엔드 학습을 가능하게 할 수 있는가?
• RQ3 사슬형 잔차 풀링은 계산 비용을 증가시키지 않으면서도 대규모 맥락 정보를 효율적으로 캡처할 수 있는가?
• RQ4 RefineNet 블록을 연결함으로써 단일 경로 또는 浅층 정련 접근 방식에 비해 다양한 데이터셋에서 일관된 성능 향상을 달성할 수 있는가?
• RQ5 제안된 아키텍처가 기존 최신 기술 수준의 방법들(예: DeepLab)에 비해 벤치마크 데이터셋에서 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• RefineNet는 PASCAL VOC 2012 데이터셋에서 기존 방법들(예: DeepLab 포함)을 초월하여 새로운 최신 기술 수준의 mIoU 83.4%를 달성했다.
• NYUDv2 데이터셋에서 2-스케일 입력을 사용한 4-연결 RefineNet는 43.1% mIoU를 기록했으며, 단일 RefineNet(40.3%) 및 2-연결 버전(40.9%)을 모두 압도했다.
• ADE20K 데이터셋에서 RefineNet-Res152는 40.7% mIoU를 기록했으며, 기준 모델인 FCN-8s(29.4%) 및 Cascaded-DilatedNet(34.9%)에 비해 뚜렷한 성능 향상을 보였다.
• 4-연결 RefineNet 버전은 정확도와 효율성 사이의 최적의 균형을 이루며, 단일 또는 2-연결 네트워크와 같은 단순한 구성보다 뛰어난 성능을 보였다.
• 사슬형 잔차 풀링은 맥락 모델링을 향상시켜 배경 영역 및 복잡한 시나리오 영역에서 성능 향상에 기여했다.
• 모델은 다양한 데이터셋에 대해 잘 일반화되며, Cityscapes, SUN-RGBD, Person-Parts를 포함한 7개의 공개 벤치마크에서 최신 기술 수준 성능를 기록했다.