[논문 리뷰] Recurrent Convolutional Neural Networks for Scene Parsing

Pedro H. O. Pinheiro, Ronan Collobert|arXiv (Cornell University)|2013. 06. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 11인용 수 74

한 줄 요약

이 논문은 공유된 스택된 네트워크 인스턴스를 사용하여 반복적으로 픽셀 수준 예측을 정밀하게 다듬음으로써 장거리 공간적 의존성을 모델링하는 순환 합성곱 신경망(rCNN)을 제안한다. 순차적인 순환 구조를 통해 원본 RGB 이미지를 순방향으로 처리하고 오류를 수정함으로써, 분할 또는 CRF 기반 접근 방식과는 달리 작업 전용 특징 없이도 스탠포드 배경 및 SIFT 플로우 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 최소한의 추론 비용을 유발한다.

ABSTRACT

Scene parsing is a technique that consist on giving a label to all pixels in an image according to the class they belong to. To ensure a good visual coherence and a high class accuracy, it is essential for a scene parser to capture image long range dependencies. In a feed-forward architecture, this can be simply achieved by considering a sufficiently large input context patch, around each pixel to be labeled. We propose an approach consisting of a recurrent convolutional neural network which allows us to consider a large input context, while limiting the capacity of the model. Contrary to most standard approaches, our method does not rely on any segmentation methods, nor any task-specific features. The system is trained in an end-to-end manner over raw pixels, and models complex spatial dependencies with low inference cost. As the context size increases with the built-in recurrence, the system identifies and corrects its own errors. Our approach yields state-of-the-art performance on both the Stanford Background Dataset and the SIFT Flow Dataset, while remaining very fast at test time.

연구 동기 및 목표

• 더 높은 시각적 일관성과 정확도를 갖춘 픽셀 단위 분류 작업으로서의 장면 해석 문제를 해결하기 위해.
• 그래픽 모델(예: CRF)이나 이미지 분할에 의존하는 것을 제거하기 위해.
• 수동으로 설계된 특징이나 후처리 없이 원본 픽셀에서부터 엔드 투 엔드 학습을 가능하게 하기 위해.
• 순방향 및 순환 아키텍처를 통해 높은 정확도를 유지하면서도 낮은 추론 시간을 확보하기 위해.

제안 방법

• 동일한 이미지 패치를 순차적으로 처리하는 공유 가중치 합성곱 신경망 인스턴스를 다수 사용하는 순환 아키텍처를 사용한다.
• 각 네트워크 인스턴스는 원본 이미지와 이전 인스턴스의 예측 분할 결과를 입력으로 받아 순환 구조를 통해 오류를 수정한다.
• tanh 비선형성과 최대 풀링을 포함한 합성곱 레이어 스택을 거친 후, 1×1 합성곱을 통해 클래스 점수를 생성한다.
• 순환성 덕분에 모델은 예측을 점진적으로 정밀하게 다듬을 수 있으며, 각 추론 단계에서 모델 용량을 증가시키지 않으면서도 효과적인 수신장(field)을 넓힐 수 있다.
• 학습은 확률적 경사 하강법을 사용하며 하이브리드 전략을 적용한다: 두 개의 인스턴스를 동시에 학습하고, 이후에 세 번째 인스턴스를 추가하여 이전 예측을 수정한다.
• 모델은 수동으로 설계된 특징이나 분할 파이프라인 없이 원본 픽셀에서부터 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 그래픽 모델이나 분할에 의존하지 않고도 순환 CNN 아키텍처가 장거리 공간적 의존성을 모델링할 수 있는가?
• RQ2 공유 가중치 CNN에서의 순환성은 픽셀 수준의 분류 정확도와 시각적 일관성을 어떻게 향상시키는가?
• RQ3 이러한 시스템은 고속 추론 속도를 유지하면서도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 원본 픽셀에서부터 엔드 투 엔드로 학습하는 것이 수동으로 설계된 특징이나 CRF 후처리를 사용하는 방법보다 얼마나 뛰어나게 성능을 높이는가?
• RQ5 반복 단계의 수가 성능 및 추론 시간에 어떤 영향을 미치는가?

주요 결과

• rCNN 모델은 스탠포드 배경 데이터셋에서 80.2%의 픽셀 정확도를 기록하여 이전 최신 기술 수준의 방법을 초월했다.
• 33개 클래스를 가진 SIFT 플로우 데이터셋에서, 분할 또는 CRF 후처리 없이도 최신 기술 수준의 성능을 달성했다.
• 라벨링에 사용된 이미지 픽셀 수를 1/4로 줄였을 때(1/4 해상도), 79.3%의 정확도를 기록하여 전체 해상도 성능에 매우 가까운 결과를 얻었다.
• 추론 시간이 크게 단축되어 1/4 해상도에서 1장당 0.70초로, 증가된 맥락 정보에도 불구하고 효율성을 입증했다.
• 순환 설계 덕분에 네트워크가 오류를 자가 수정할 수 있었으며, 시각적 결과에서 다수의 반복 후에 명확한 향상이 관찰되었다.
• 초기 슈퍼픽셀, CRF 또는 수동으로 설계된 특징(예: SIFT, Gist)에 의존하는 시스템보다 성능이 뛰어나며, 표 1 및 표 5에서 이를 입증했다.