[논문 리뷰] Feedforward semantic segmentation with zoom-out features

Mohammadreza Mostajabi, Payman Yadollahpour외 1명|arXiv (Cornell University)|2014. 12. 02.

Advanced Neural Network Applications참고 문헌 26인용 수 43

한 줄 요약

이 논문은 사전 훈련된 컨볼루션 네트워크를 사용하여 국소 초퍼셀에서 전체 이미지 맥락에 이르기까지 다중 척도의 줌아웃 특징을 융합함으로써 초퍼셀 분류를 향상시키는 피드포워드 의미 분할 프레임워크를 제안한다. 비대칭 손실 함수로 깊이 있는 피드포워드 네트워크를 훈련하여 PASCAL VOC 2012에서 64.4%의 평균 mIoU를 달성하며, 복잡한 추론을 수반하지 않는 구조적 모델보다 뛰어난 성능을 보였다.

ABSTRACT

We introduce a purely feed-forward architecture for semantic segmentation. We map small image elements (superpixels) to rich feature representations extracted from a sequence of nested regions of increasing extent. These regions are obtained by "zooming out" from the superpixel all the way to scene-level resolution. This approach exploits statistical structure in the image and in the label space without setting up explicit structured prediction mechanisms, and thus avoids complex and expensive inference. Instead superpixels are classified by a feedforward multilayer network. Our architecture achieves new state of the art performance in semantic segmentation, obtaining 64.4% average accuracy on the PASCAL VOC 2012 test set.

연구 동기 및 목표

• 의미 분할이 명시적 구조적 예측이나 복잡한 추론 없이도 최신 기술 수준의 성능를 달성할 수 있는지 탐구하는 것.
• 초퍼셀 분류를 위한 장거리 맥락적 의존성을 포착하기 위해 다중 척도의 줄임축 특징 융합의 효과성을 조사하는 것.
• 비대칭 손실을 사용하는 단순한 피드포워드 신경망이 의미 분할에서 복잡한 구조적 모델을 능가할 수 있는지 평가하는 것.
• 특징 공학을 통해 구조적 특성을 암묵적으로 구현함으로써 깊이 있는 컨볼루션 네트워크를 의미 분할에 효과적으로 활용할 수 있는지 보여주는 것.
• 손으로 만든 특징 대신 줌아웃 영역에서 학습된 표현을 사용하여 엔드 투 엔드 학습을 위한 기준을 설정하는 것.

제안 방법

• 이 방법은 초퍼셀을 입력 단위로 사용하며, '줄임축' 전략을 통해 국소(초퍼셀 자체), 근접(작은 이웃), 원거리(더 큰 영역), 전역(전체 이미지)의 네 가지 공간 수준에서 특징을 추출한다.
• 각 줄임축 수준의 특징은 사전 훈련된 컨볼루션 신경망(ConvNets)을 사용하여 추출되며, 수준 간 일관성을 유지하기 위해 동일한 네트워크를 사용한다.
• 모든 네 수준의 특징 벡터는 각 초퍼셀에 대해 단일 고차원 표현으로 연결된다.
• 다중층 피드포워드 신경망은 연결된 줄임축 특징을 기반으로 각 초퍼셀을 분류하며, 클래스 불균형을 개선하기 위해 비대칭 손실 함수로 훈련된다.
• 다중 척도 특징 융합를 통해 맥락적 추론을 암묵적으로 통합함으로써 CRF나 CRF 유사 추론을 피한다.
• 후처리 단계에서는 고립된 잘못 분류된 영역을 교정하기 위한 학습된 분류기를 사용하여 시각적 품질과 성능을 약 0.5% 향상시켰다.

실험 결과

연구 질문

• RQ1 다중 척도의 줄임축 특징을 갖는 순수한 피드포워드 아키텍처가 구조적 예측이나 복잡한 추론 없이 최신 기술 수준의 의미 분할 성능를 달성할 수 있는가?
• RQ2 국소적 특징 또는 단일 척도 접근 방식에 비해 국소에서 전역까지의 다양한 공간 척도에서 특징 융합이 분할 정확도 향상에 얼마나 효과적인가?
• RQ3 비대칭 손실 함수를 사용할 경우, 특히 클래스 불균형 문제를 다룰 때 성능 향상이 얼마나 이루어지는가?
• RQ4 사전 훈련된 ConvNets를 다양한 줄임축 수준에 적용함으로써 공간적 구조를 명시적으로 모델링하지 않더라도 이미지 영역 간 맥락적 의존성을 효과적으로 인코딩할 수 있는가?
• RQ5 단일 단계이자 비구조적 분류 프레임워크를 사용하여 기존 최신 기술 수준 결과를 뛰어넘을 수 있는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 테스트 세트에서 64.4%의 평균 교차율(mIoU)을 달성하여, 발표 당시 새로운 최신 기술 수준을 수립하였다.
• 줄임축 특징 융합 전략은 장거리 맥락을 더 잘 모델링함으로써 국소 특징만 사용하거나 단일 척도 접근 방식보다 성능 향상이著명하게 이루어졌다.
• 비대칭 손실 함수로 분류기 훈련을 수행함으로써, 희귀하거나 감지하기 어려운 클래스에서 특히 분명한 성능 향상이 관찰되었다.
• Stanford Background Dataset(SBD)에서 여러 최근 방법을 능가하여 82.1%의 픽셀 정확도와 77.3%의 클래스 정확도를 달성하였으며, 다중 척도 및 순환 컨볼루션 네트워크를 포함한 이전 작업을 초월하였다.
• 명시적 구조적 모델링이 없음에도 불구하고, 시각적으로 일관된 분할 결과를 생성하였고 합리적인 레이아웃 정확도를 보였지만, 일부 잔차(예: 작은 고립된 영역)는 여전히 존재했다.
• 고립된 영역을 교정하기 위한 학습된 분류기를 후처리 단계에 도입함으로써 검증 성능이 약 0.5% 향상되었으며, 향후 개선 여지가 있음을 시사하였다.