[논문 리뷰] Deep Deconvolutional Networks for Scene Parsing

Rahul Mohan|arXiv (Cornell University)|2014. 11. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 56

한 줄 요약

이 논문은 엣지 기반 원소를 초월한 고차원 이미지 구조를 학습함으로써 시나리오 해석 성능을 햖थ기 위해 디컨볼루션 네트워크와 컨볼루션 네트워크를 결합한 새로운 딥 디컨볼루션 네트워크 아키텍처를 제안한다. 이 방법은 다중 패치 학습을 통해 공간 사전 지식을 포착하고, 후처리 또는 슈퍼픽셀 없이도 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Scene parsing is an important and challenging prob- lem in computer vision. It requires labeling each pixel in an image with the category it belongs to. Tradition- ally, it has been approached with hand-engineered features from color information in images. Recently convolutional neural networks (CNNs), which automatically learn hierar- chies of features, have achieved record performance on the task. These approaches typically include a post-processing technique, such as superpixels, to produce the final label- ing. In this paper, we propose a novel network architecture that combines deep deconvolutional neural networks with CNNs. Our experiments show that deconvolutional neu- ral networks are capable of learning higher order image structure beyond edge primitives in comparison to CNNs. The new network architecture is employed for multi-patch training, introduced as part of this work. Multi-patch train- ing makes it possible to effectively learn spatial priors from scenes. The proposed approach yields state-of-the-art per- formance on four scene parsing datasets, namely Stanford Background, SIFT Flow, CamVid, and KITTI. In addition, our system has the added advantage of having a training system that can be completely automated end-to-end with- out requiring any post-processing.

연구 동기 및 목표

• 기본 엣지 원소를 초월한 더 풍부한 고차원 이미지 구조를 학습함으로써 시나리오 해석 성능을 향상시키기 위해.
• 수동으로 설계된 특징 또는 슈퍼픽셀과 같은 후처리 기법에 의존하지 않기 위해.
• 원시 픽셀 입력을 직접 처리할 수 있는 엔드 투 엔드 학습 가능한 시스템을 개발하기 위해.
• 새로운 다중 패치 학습 전략을 통해 효과적인 공간 사전 지식을 학습하기 위해.

제안 방법

• 딥 디컨볼루션 네트워크와 컨볼루션 신경망을 결합하여 계층적이고 구조화된 특징을 학습하기 위해.
• 입력 이미지를 특징 맵에서 재구성하는 데 사용되는 L1 정규화를 적용한 비지도, 엔드 투 엔드 학습 절차를 디컨볼루션 레이어에 적용하기 위해.
• 재구성 손실과 특징 맵에 대한 L1 정규화를 포함하는 비용 함수를 사용하여 희박하고 과잉 결정된 특징을 학습하기 위해.
• 각 픽셀 주변에서 다수의 이미지 패치를 샘플링하여 공간적 맥락을 모델링하는 다중 패치 학습을 도입하기 위해.
• 최대 풀링 레이어에서의 스위치를 활용하여 특징 맵을 업샘플링하는 디컨볼루션 연산을 가능하게 하기 위해.
• 슈퍼픽셀이나 수동으로 설계된 특징에 의존하지 않고 원시 픽셀 입력에서 전체 네트워크를 엔드 투 엔드로 학습하기 위해.

실험 결과

연구 질문

• RQ1 디컨볼루션 네트워크는 시나리오 해석을 위해 표준 CNN보다 더 강력하고 통찰력 있는 이미지 표현을 학습할 수 있는가?
• RQ2 다중 스케일 학습이나 특별한 학습 없이 비해, 다중 패치 학습은 공간 사전 지식을 얼마나 효과적으로 포착하는가?
• RQ3 디컨볼루션 네트워크와 컨볼루션 네트워크를 결합함으로써 시나리오 해석 벤치마크 성능이 향상되는가?
• RQ4 제안된 아키텍처는 딥 네트워크의 무작위 초기화에 얼마나 민감한가?
• RQ5 원시 픽셀에서 학습된 엔드 투 엔드 시스템은 후처리 또는 슈퍼픽셀이 필요한 기존 방법보다 성능이 뛰어나게 되는가?

주요 결과

• 제안된 아키텍처는 Stanford Background, SIFT Flow, CamVid, KITTI 네 개의 시나리오 해석 데이터셋에서 최신 기술 수준 성능을 달성하였다.
• 첫 번째 세 데이터셋에서 다중 스케일 학습 대비 평균 0.67% 향상된 픽셀 단위 정확도와 특별한 학습 없이도 1.02% 향상된 성능을 기록하였다.
• KITTI 데이터셋에서는 다중 스케일 학습 대비 Max F-Score가 1.62% 향상되었고, 특별한 학습 없이도 3.28% 향상된 성능을 기록하였다.
• 디컨볼루션 네트워크는 학습 중에 더 안정적이었으며, 깊은 CNN보다 500번의 무작위 초기화 런에서 더 낮은 분산을 보였다.
• 다양한 깊이와 초기화 시드에서 일관된 성능을 기록하여 局부 최소값에 대한 저항력이 높음을 확인하였다.
• 경계 접합점, 평행선, 기하학적 형태와 같은 복잡한 공간적 구조를 학습하는 데서 CNN보다 우수한 성능을 보였다.