[논문 리뷰] PixelNet: Representation of the pixels, by the pixels, and for the pixels

Aayush Bansal, Xinlei Chen외 3명|arXiv (Cornell University)|2017. 02. 21.

Advanced Neural Network Applications참고 문헌 87인용 수 93

한 줄 요약

PixelNet은 픽셀 샘플링과 하이퍼컬럼 특징에 대해 MLP를 사용해 다양한 비선형 픽셀-단위 예측기를 학습하고, 세그멘테이션, 표면 법선 추정, 그리고 에지 검출에서 최첨단 결과를 달성한다.

ABSTRACT

We explore design principles for general pixel-level prediction problems, from low-level edge detection to mid-level surface normal estimation to high-level semantic segmentation. Convolutional predictors, such as the fully-convolutional network (FCN), have achieved remarkable success by exploiting the spatial redundancy of neighboring pixels through convolutional processing. Though computationally efficient, we point out that such approaches are not statistically efficient during learning precisely because spatial redundancy limits the information learned from neighboring pixels. We demonstrate that stratified sampling of pixels allows one to (1) add diversity during batch updates, speeding up learning; (2) explore complex nonlinear predictors, improving accuracy; and (3) efficiently train state-of-the-art models tabula rasa (i.e., "from scratch") for diverse pixel-labeling tasks. Our single architecture produces state-of-the-art results for semantic segmentation on PASCAL-Context dataset, surface normal estimation on NYUDv2 depth dataset, and edge detection on BSDS.

연구 동기 및 목표

• 저해상도에서 고해상도까지의 일반적인 밀집 픽셀 단위 예측 문제에 대한 설계 방향 제시.
• 합성곱 기반 학습에서 통계적 효율성과 계산 효율성 간의 트레이드오프 조사.
• 희소 픽셀 샘플링이 학습 속도를 높이고 선형 스킵 연결을 넘는 비선형 예측기를 가능하게 함을 보임.
• 큰 규모의 프리트레이닝 없이도 무작위 초기화에서 모델을 학습할 수 있도록 픽셀 단위 최적화를 Demonstrate.
• 세그멘테이션, 법선, 에지 검출에서 강력한 성능을 거두는 단일 아키텍처를 확립.

제안 방법

• 픽셀을 다중 스케일 CNN 특징으로 구성된 하이퍼컬럼 서술자 h_p로 표현한다.
• SGD를 통해 엔드-투-엔드로 학습된 비선형 MLP g(h_p)로 픽셀당 출력을 예측한다.
• 테스트 시 1x1 MLP와 필요 시 특징 보간을 통해 밀집 하이퍼컬럼을 효율적으로 계산한다.
• 정보를 제공하는 미니배치를 형성하기 위해 이미지당 작고 다양한 샘플 픽셀 집합으로 학습한다.
• 메모리 효율성을 위해 역샘플링(deconvolution) 대신 필요 시 계산 방식을 시연한다.
• 클래스 불균형(예: 에지)을 다루기 위해 균등 샘플링과 편향 샘플링 등 샘플링 전략을 탐구한다.

실험 결과

연구 질문

• RQ1 희소 픽셀 샘플링으로도 작업 간 픽셀 단위 예측기를 학습하는 데 충분한 그래디언트 정보를 얻을 수 있는가?
• RQ2 하이퍼컬럼 특징에 대한 비선형 MLP로 선형 스킵 연결을 대체하면 정확도가 향상되고 끝에서 끝까지 학습이 가능해지는가?
• RQ3 픽셀-단위 최적화가 이미지넷 프리트레이닝 없이도 무작위 초기화에서 경쟁력 있는 모델을 학습할 수 있는가?
• RQ4 세그멘테이션, 법선, 에지에서 밀집 픽셀 예측을 위한 효율성과 정확성을 극대화하는 아키텍처적 및 샘플링 선택은 무엇인가?

주요 결과

• 이미지당 소수의 픽셀만으로도 공간적 픽셀 상관관계로 인해 학습이 가능하므로 다양한 배치를 통한 더 빠른 SGD가 가능하다.
• 하이퍼컬럼 특징에 대한 비선형 MLP는 선형 예측기보다 성능이 우수하며, 배치 정규화를 선형 모델에 결합하면 더 좋아지지만 MLP에는 필요하지 않다.
• 하이퍼컬럼 특징의 필요 시 계산은 전체 밀집 업샘플링(deconvolution)에 비해 메모리 효율이 훨씬 높으면서 성능은 유지된다.
• 배치 정규화와 함께 사용하면 무작위 가우시안 초기화로도 PixelNet을 처음부터 학습시켜 다양한 과제에서 경쟁력 있는 결과를 얻을 수 있다.
• 이 방법은 의미론적 세그멘테이션(PASCAL-Context), 표면 법선(NYUDv2), 에지 검출(BSDS-500)에서 최첨단 결과를 낳는다.
• 편향된 샘플링을 positives 쪽으로 하면 에지 검출 성능이 향상되어 BSDS에서 인간 수준의 F-점수를 달성한다.