[논문 리뷰] ParseNet: Looking Wider to See Better

Wei Liu, Andrew Rabinovich외 1명|arXiv (Cornell University)|2015. 06. 15.

Advanced Neural Network Applications참고 문헌 32인용 수 1,060

한 줄 요약

ParseNet는 전체 이미지에 걸쳐 특징을 풀링하여 전역적 맥락을 특징 맵에 통합하고, 이를 각 공간 위치에 첨부함으로써 단순하고 엔드 투 엔드로 완전 컨volution 네트워크를 제안한다. 이 방법은 SiftFlow 및 PASCAL-Context에서 분할 정확도를 크게 향상시키며, 기준 FCN 대비 최소한의 계산 비용으로도 상태의 기준 성능(SOTA)을 달성한다. PASCAL VOC 2012에서는 거의 상태의 기준 성능을 기록한다.

ABSTRACT

We present a technique for adding global context to deep convolutional networks for semantic segmentation. The approach is simple, using the average feature for a layer to augment the features at each location. In addition, we study several idiosyncrasies of training, significantly increasing the performance of baseline networks (e.g. from FCN). When we add our proposed global feature, and a technique for learning normalization parameters, accuracy increases consistently even over our improved versions of the baselines. Our proposed approach, ParseNet, achieves state-of-the-art performance on SiftFlow and PASCAL-Context with small additional computational cost over baselines, and near current state-of-the-art performance on PASCAL VOC 2012 semantic segmentation with a simple approach. Code is available at https://github.com/weiliu89/caffe/tree/fcn .

연구 동기 및 목표

• 완전 컨volution 네트워크(FCN)가 장면 수준의 맥락을 忽시하는 점을 보완하기 위해 전역 맥락 정보를 통합함으로써 의미 분할 성능을 향상시키는 것.
• 충분한 수신 영역이 부족하여 장거리 거리에서 레이블 일관성이 유지되지 않는 FCN의 한계를 해결하는 것.
• 복잡한 후처리 또는 CRF와 같은 하이브리드 모델을 피하는 단순한 엔드 투 엔드 딥 러닝 아키텍처를 개발하는 것.
• 전역 맥락을 최소한의 계산 비용으로 효과적으로 FCN에 통합함으로써 정확도 향상을 이끌어내는 것이 가능한지 입증하는 것.
• 전역 맥락을 통합하기 전에 성능을 극대화하기 위한 최적의 훈련 관행(예: 특징 정규화 및 학습 가능한 스케일링)을 수립하는 것.

제안 방법

• 특정 레이어의 특징 맵을 전체 이미지에 걸쳐 풀링하여 전역 맥락 벡터를 생성하는 것.
• 전역 맥락 벡터를 원래 특징 맵의 공간 차원에 맞게 언풀링하고 원본 특징과 연결하는 것.
• 스케일 차이가 있는 서로 다른 레이어의 특징을 효과적으로 융합하기 위해 L2 정규화를 적용하는 것.
• 백프로파게이션을 통해 특징 융합을 위한 스케일링 인자를 학습시켜 다중 수준 특징을 최적으로 조합하는 것.
• 특히 fc7와 같은 고수준 특징에 전역 맥락 주입을 선택적으로 적용하여 맥락 이해를 향상시키는 것.
• 학습 복잡도를 증가시키지 않으면서도 다중 레이어의 특징을 학습 가능한 가중치를 가진 후기 융합 방식으로 조합하는 것.

실험 결과

연구 질문

• RQ1 후처리 CRF에 의존하지 않고도 완전 컨볼루션 네트워크에 전역 맥락을 효과적으로 통합할 수 있는가?
• RQ2 전역 평균 풀링을 통해 유도된 전역 맥락 벡터를 추가함으로써 표준 FCN 기준선 대비 분할 정확도가 향상되는가?
• RQ3 다중 수준 특징의 정규화 및 학습 가능한 스케일링이 의미 분할 네트워크 성능에 미치는 영향은 무엇인가?
• RQ4 전역 맥락 통합으로 얻는 성능 향상이 복잡한 CRF 기반 후처리 방법과 유사한가?
• RQ5 전역 맥락을 통합한 단순한 엔드 투 엔드 아키텍처가 SiftFlow 및 PASCAL-Context와 같은 표준 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• ParseNet은 SiftFlow 데이터셋에서 최고 성능을 기록하였으며, PASCAL-Context 데이터셋에서 평균 IoU 69.55%를 기록하여 이전 방법들을 초월한다.
• PASCAL VOC 2012에서 ParseNet은 평균 IoU 69.8%를 기록하여 DeepLab-LargeFOV-CRF 방법의 표준편차 내 성능을 달성하여 단순한 아키텍처로도 경쟁적인 성능을 보였다.
• 전역 맥락 추가로 인해 기준 FCN 성능이 PASCAL-Context에서 5% 이상 향상되었으며, 이는 국소적 모호성을 해결하는 데 전역 맥락이 핵심 요소임을 시사한다.
• 학습 가능한 스케일링 및 정규화를 적용한 본 방법은 기준 FCN 대비 PASCAL-Context에서 5.5%p 향상되었으며, 이는 훈련 관행 자체가 성능 향상에 상당한 기여를 한다는 것을 보여준다.
• 서브 영역 특징(1×1, 2×2, 4×4)을 사용한 공간 피라미드 풀링은 성능 향상에 기여하지 않았으며, 이는 고수준 특징의 수신 영역가 이미 전역 맥락 모델링에 충분하다는 것을 시사한다.
• 이 방법은 강인하고 훈련이 용이하며, 표준 FCN을 초월한 추가 계산 비용 없이 추론이 가능하며, 향후 성능 향상을 위해 CRF와 조합할 수 있다.