[논문 리뷰] Learning Dense Convolutional Embeddings for Semantic Segmentation

Adam W. Harley, Konstantinos G. Derpanis외 1명|arXiv (Cornell University)|2015. 11. 13.

Advanced Neural Network Applications참고 문헌 31인용 수 18

한 줄 요약

이 논문은 의미적 유사성 간의 유사도를 모델링하여 의미 분할 성능을 햖스키기 위해 밀도 높은 픽셀 임베딩을 학습하는 딥 컨volution 신경망을 제안한다. 학습된 컨볼루션 유사한 레이어를 통해 예측값을 필터링하고 재가중함으로써 이 방법은 PASCAL VOC 2012에서 최대 1.2%의 정확도 향상을 이끌었으며, RGB 거리, 수작업으로 만든 임베딩, 간섭 경계선과 비교해도 슈퍼어리어를 보였고, 계산 오버헤드는 최소한이었다.

ABSTRACT

This paper proposes a new deep convolutional neural network (DCNN) architecture that learns pixel embeddings, such that pairwise distances between the embeddings can be used to infer whether or not the pixels lie on the same region. That is, for any two pixels on the same object, the embeddings are trained to be similar; for any pair that straddles an object boundary, the embeddings are trained to be dissimilar. Experimental results show that when this embedding network is used in conjunction with a DCNN trained on semantic segmentation, there is a systematic improvement in per-pixel classification accuracy. Our contributions are integrated in the popular Caffe deep learning framework, and consist in straightforward modifications to convolution routines. As such, they can be exploited for any task involving convolution layers.

연구 동기 및 목표

• 픽셀 간 의미적 유사성을 코딩하는 밀도 높은 픽셀 임베딩을 학습하여 의미 분할 정확도를 향상시키기.
• 기존의 수작업 또는 사전 계산된 유사도 측정 방식을 대체하기 위해 DCNN 내에서 실시간으로 밀도 높은 픽셀 유사도를 계산할 수 있도록 하기.
• 기존의 DCNN 파ipeline에 효율적이고 미분 가능한 레이어로서 학습된 임베딩을 통합하여 종단간 훈련을 가능하게 하기.
• 학습 중에 픽셀 단위 레이블이 필요 없이도 학습된 임베딩이 분할 예측을 특히 객체 경계에서 더 선명하게 만들 수 있음을 입증하기.
• Caffe와 같은 인기 있는 프레임워크와 호환되는 플러그-인 모듈을 제공하여, 어떤 DCNN 기반 시각 작업에도 적용 가능하게 하기.

제안 방법

• 이 방법은 동일한 객체에 속한 픽셀의 임베딩이 임베딩 공간에서 가까워지도록, 각 픽셀에 대해 고차원의 밀도 높은 임베딩을 생성하도록 DCNN을 훈련시킨다.
• 픽셀 임베딩 간의 쌍별 거리는 동일한 의미 영역에 속해 있는지 여부를 판단하기 위한 학습된 유사도 점수로 사용된다.
• 공간적으로 국소적인 필터링 연산을 통해 이러한 유사도를 가중치로 사용하여 최종 레이어의 활성화를 재가중함으로써 유사한 인접 픽셀의 예측을 효과적으로 통합한다.
• 임베딩 레이어는 Caffe에서 구현된 미분 가능한 컨볼루션 유사한 연산으로 구현되어, 픽셀 수준의 애너테이션 유무에 관계없이 종단간 훈련이 가능하다.
• 이 필터를 반복 적용하여 효율적인 수신장 영역을 확장함으로써 장거리 문맥 모델링을 향상시킬 수 있다.
• 이 방법은 DeepLab과 같은 기존 분할 모델과 통합 가능하며, 추가로 성능 향상을 위해 CRF 후처리와 조합할 수 있다.

실험 결과

연구 질문

• RQ1 학습된 밀도 높은 픽셀 임베딩이 局소 의미 유사도를 모델링함으로써 의미 분할 정확도를 향상시킬 수 있는가?
• RQ2 RGB 거리나 간섭 경계선과 같은 수작업으로 만든 유사도와 비교해 학습된 임베딩의 성능은 어떠한가?
• RQ3 학습된 임베딩이 다양한 네트워크 아키텍처와 데이터셋에서 DCNN 파이프라인에 통합될 경우 일관된 성능 향상을 이끌 수 있는가?
• RQ4 최적의 분할 정확도를 확보하기 위해 필터 크기와 반복 적용 횟수는 얼마여야 하는가?
• RQ5 임베딩 학습 시 픽셀 단위의 레이블이 필요 없이도 이 임베딩 모듈이 종단간 훈련 파이프라인에서 효과적으로 사용될 수 있는가?

주요 결과

• 제안된 방법은 기준 모델인 DeepLab 대비 PASCAL VOC 2012 테스트 세트에서 mIoU를 1.2% 향상시켰다.
• 최고 성능을 낸 설정은 9×9 임베딩 필터를 7번 반복 적용하여 검증 세트에서 79.69%의 mIoU를 달성했다.
• 밀도 높은 CRF와 조합했을 때, 임베딩 증강 모델은 테스트 세트에서 74.00%의 mIoU를 기록하여 DeepLab-CRF 기준 모델보다 0.4% 높은 성능을 보였다.
• 더 큰 필터 크기(최대 15×15)와 다수의 반복 적용이 성능 향상에 일관되게 기여했으며, 확장된 수신장의 이점이 확인되었다.
• 메모리 사용량이 훨씬 적은데도 불구하고, 최신 수준의 수작업 임베딩(Leordeanu 등)과 간섭 경계선을 모두 능가하는 성능을 보였다.
• 이 방법은 기존의 CRF 후처리나 디컨볼루션 업샘플링과 독립적이므로, 함께 사용할 경우 보완적인 성능 향상을 이끌 수 있다.