[논문 리뷰] Combining the Best of Convolutional Layers and Recurrent Layers: A Hybrid Network for Semantic Segmentation

Zhicheng Yan, Hao Zhang외 3명|arXiv (Cornell University)|2016. 03. 15.

Advanced Neural Network Applications참고 문헌 42인용 수 43

한 줄 요약

이 논문은 풀 컨볼루션 네트워크(FCNs)와 공간적 순환층(ReNet)을 결합한 하이브리드 딥 ReNet(H-ReNet) 네트워크를 제안한다. 이는 의미 분할에서 장거리 문맥적 의존성을 명시적으로 모델링하기 위해 설계되었다. 특징 맵을 가로로 및 세로로 스캔하는 순환 유닛을 통합함으로써 H-ReNet는 전체 이미지의 수신장(Receptive Field)을 확보하고, 엔드 투 엔드 학습을 가능하게 하며 성능을 향상시켰다. 이는 PASCAL VOC 2012에서 Piecewise, CRFasRNN, DeepParsing보다 각각 3.6%, 2.3%, 0.2% 높은 성능을 기록하며 최신 기술을 초월하였다.

ABSTRACT

State-of-the-art results of semantic segmentation are established by Fully Convolutional neural Networks (FCNs). FCNs rely on cascaded convolutional and pooling layers to gradually enlarge the receptive fields of neurons, resulting in an indirect way of modeling the distant contextual dependence. In this work, we advocate the use of spatially recurrent layers (i.e. ReNet layers) which directly capture global contexts and lead to improved feature representations. We demonstrate the effectiveness of ReNet layers by building a Naive deep ReNet (N-ReNet), which achieves competitive performance on Stanford Background dataset. Furthermore, we integrate ReNet layers with FCNs, and develop a novel Hybrid deep ReNet (H-ReNet). It enjoys a few remarkable properties, including full-image receptive fields, end-to-end training, and efficient network execution. On the PASCAL VOC 2012 benchmark, the H-ReNet improves the results of state-of-the-art approaches Piecewise, CRFasRNN and DeepParsing by 3.6%, 2.3% and 0.2%, respectively, and achieves the highest IoUs for 13 out of the 20 object classes.

연구 동기 및 목표

• 제한된 국소적 수신장으로 인해 의미 분할에서 장거리 문맥적 의존성을 모델링하는 데 어려움을 겪는 풀 컨볼루션 네트워크(FCNs)의 한계를 해결하기 위해.
• 순환층이 의미 분할에서 전역적 공간적 문맥을 명시적으로 포착할 수 있는지 탐색하여 특징 표현을 향상시키기 위해.
• 컨볼루션 및 순환층의 장점을 융합한 하이브리드 아키텍처를 개발하여 성능과 효율성을 향상시키기 위해.
• 그래픽 모델의 비효율성과는 반대로, 효율적인 GPU 병렬 계산이 가능한 엔드 투 엔드 학습을 가능하게 하기 위해.
• ablation 및 외부 비교를 통해 PASCAL VOC 2012 벤치마크에서 최신 기술 성능을 입증하기 위해.

제안 방법

• 특징 맵을 따라 수직 및 수평 방향으로 RNN을 적용하는 공간적 순환층(ReNet 층)을 도입하여 장거리 공간적 문맥을 전파한다.
• 스탠포드 배경 데이터셋에서 순수하게 ReNet 층의 효과를 평가하기 위해 ReNet 층을 반복적으로 스택한 난이도 높은 딥 ReNet(N-ReNet)을 구축한다.
• 사전 훈련된 FCN 백본 위에 ReNet 층을 추가하여 국소적 특징 추출과 전역적 문맥 모델링을 결합한 하이브리드 네트워크(H-ReNet)를 설계한다.
• 순환 및 컨볼루션 구성 요소를 동시에 최적화할 수 있도록, 시간에 따라 역전파를 수행하는 엔드 투 엔드 학습을 가능하게 한다.
• 현대 GPU에서 효율적인 병렬 계산이 가능한 ReNet 층의 계산 방식을 활용하여, 전통적 CRF의 순차적 성격과 대비한다.
• 더 나은 정밀도를 위해 H-ReNet에 DenseCRF 후처리를 적용하여, 순환 모델링과 조건부 랜덤 필드의 상호보완성을 입증한다.

실험 결과

연구 질문

• RQ1 공간적 순환층이 의미 분할에서 장거리 문맥적 의존성을 효과적으로 모델링할 수 있는가? FCN의 암묵적 문맥 모델링을 능가하는가?
• RQ2 FCN과 ReNet 층을 통합함으로써 특징 표현의 품질과 분할 정확도는 어떻게 변화하는가?
• RQ3 하이브리드 H-ReNet 아키텍처가 PASCAL VOC 2012와 같은 표준 벤치마크에서 최신 기술 성능을 달성하는가?
• RQ4 ReNet 층은 모호한 이미지 영역에서 경계 정렬과 영역 인식을 얼마나 향상시키는가?
• RQ5 성능을 저하시키지 않은 채, 엔드 투 엔드 및 GPU 병렬 실행이 가능한 효율적인 순환 메커니즘을 훈련시킬 수 있는가?

주요 결과

• H-ReNet는 PASCAL VOC 2012 테스트 세트에서 DenseCRF 후처리를 적용한 결과, mIoU가 74.3%를 기록했으며, 이는 이전 최신 기술인 DeepParsing을 0.2% 초월한 성능이다.
• PASCAL VOC 2012 검증 세트에서 H-ReNet는 Piecewise보다 3.6%, CRFasRNN보다 2.3%, DeepParsing보다 0.2% 높은 mIoU를 기록했다.
• H-ReNet는 PASCAL VOC 2012 벤치마크에서 20개 객체 클래스 중 13개의 클래스에서 가장 높은 IoU를 기록하여, 뛰어난 클래스별 성능을 입증했다.
• 정성적 비교 결과, H-ReNet는 전역적 문맥을 활용해 모호한 영역(예: 전부 드러나지 않는 비행기 몸체, 새의 몸통 등)을 더 잘 해결함을 보였다.
• 추가로 MS COCO 데이터를 사용해 훈련한 H-ReNet 모델는 DenseCRF 후처리를 적용한 결과, VOC 2012 테스트 세트에서 mIoU가 76.8%에 도달했으며, 동일 조건에서 CRFasRNN(74.7%)과 DeepParsing(77.5%)를 모두 초월했다.
• ablation 연구를 통해 ReNet 층이 특징 표현을 크게 향상시킴을 확인했으며, 시각화 결과는 깊은 CNN과 유사한 계층적 특징 학습을 보였다.