[논문 리뷰] Do Convnets Learn Correspondence?

Jonathan Long, Ning Zhang외 1명|arXiv (Cornell University)|2014. 11. 04.

Advanced Neural Network Applications참고 문헌 35인용 수 161

한 줄 요약

이 논문은 큰 수신 영역과 약한 지도 학습 조건 하에서도 컨volutional 신경망(ConvNets)이 효과적인 대응 특징을 학습하는지 조사한다. 사전 훈련된 ImageNet 모델의 특징을 사용하여, 저자들은 ConvNet 활성화가 미세한 국소화를 가능하게 하며, PASCAL VOC 2011에서 SIFT보다 키포인트 예측 성능이 뛰어나다는 것을 입증한다. conv5 특징과 사전 확률을 사용할 경우 평균 PCK 정확도는 42.5%이며, 이는 SIFT의 28.4%를 크게 초월한다.

ABSTRACT

Convolutional neural nets (convnets) trained from massive labeled datasets have substantially improved the state-of-the-art in image classification and object detection. However, visual understanding requires establishing correspondence on a finer level than object category. Given their large pooling regions and training from whole-image labels, it is not clear that convnets derive their success from an accurate correspondence model which could be used for precise localization. In this paper, we study the effectiveness of convnet activation features for tasks requiring correspondence. We present evidence that convnet features localize at a much finer scale than their receptive field sizes, that they can be used to perform intraclass alignment as well as conventional hand-engineered features, and that they outperform conventional features in keypoint prediction on objects from PASCAL VOC 2011.

연구 동기 및 목표

• 이미지 분류를 위해 훈련된 ConvNets가 픽셀 수준에서 정밀한 대응을 모델링할 수 있는 특징를 학습하는지 확인하는 것.
• ConvNet 특징이 동일 클래스 내 정렬 및 키포인트 예측 작업에서 얼마나 효과적인지 평가하는 것.
• 대응 작업에서 학습된 ConvNet 특징과 수작업으로 설계된 SIFT 특징 간의 성능을 비교하는 것.
• ConvNets의 큰 수신 영역이 미세한 공간적 대응을 모델링하는 능력을 떨어뜨리는지 조사하는 것.
• 종래의 특징보다 끝내기로 학습된 특징이 일반적인 물체 카테고리에 대해 국소화 정확도에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 주요 표현으로서 conv5 레이어에서 추출한 특징을 사용하여 사전 훈련된 ImageNet ConvNet(Caffe 기준 모델)을 활용하였다.
• 비모수적 이미지 재구성 기법을 통해 특징 맵에서 효과적인 수신 영역와 공간 특이성을 시각화하였다.
• SIFT 플로우에 깊이 있는 특징을 적용하여 동일 클래스 내 이미지 정렬을 수행하였으며, pool5 특징의 코사인 유사도를 사용해 대응을 설정하였다.
• 키포인트 검출을 위해 하드 음성 샘플링을 적용한 선형 SVM을 훈련하였으며, 3×3 수신 영역 이웃의 특징을 양성 샘플로 사용하였다.
• pool5 특징 공간에서의 최근접 이웃 매칭 기반으로 구형 가우시안 사전을 활용하여 국소화 정확도를 향상시켰다.
• 교차 검증을 통해 트레이드오프 파라미터 η=0.1을 최적화하였으며, 최종 예측은 점수 기반으로 가장 높은 후보를 선택하였다.

실험 결과

연구 질문

• RQ1 분류 네트워크에서 유도된 ConvNet 특징가 미세한 대응이 필요한 작업에서 수작업 특징과 동일한 성능을 내는가?
• RQ2 ConvNets의 큰 수신 영역가 정밀한 공간적 대응을 모델링하는 능력을 얼마나 제한하는가?
• RQ3 사전 훈련된 ConvNet의 깊은 레이어에서 유도된 특징가 동일 물체의 다양한 인스턴스 간 정확한 내부 정렬을 지원하는가?
• RQ4 단일 네트워크 아키텍처에서 유도된 학습 특징가 일반적인 물체 카테고리의 키포인트 예측에서 SIFT를 능가하는가?
• RQ5 최근접 이웃 매칭을 통한 사전 지식 통합이 ConvNet 특징을 활용한 키포인트 국소화 성능을 얼마나 향상시키는가?

주요 결과

• conv5 레이어의 ConvNet 특징는 그 수신 영역 크기보다 더 미세한 스케일에서 국소화가 가능함을 시사하며, 높은 공간 특이성을 지닌다.
• 저자들은 conv5 특징가 기존의 수작업 특징과 동일한 효과로 동일 클래스 내 정렬을 수행할 수 있음을 입증한다.
• PASCAL VOC 2011에서의 키포인트 예측 작업에서 conv5 특징는 SIFT를 능가하였으며, 사전과 조합했을 경우 평균 PCK 정확도는 42.5%를 기록하였다.
• 구형 가우시안 사전의 추가로 SIFT 및 conv5 특징 모두 성능 향상이 있었으며, conv5+사전 조합은 평균 PCK 정확도 42.5%를 달성하였다.
• 이 결과는 깊이 있는 특징를 사용한 PASCAL VOC 2011 데이터셋에서의 첫 번째 보고된 키포인트 예측 성능이다.
• 시각화 결과에 따르면, 특히 말, 화분 등 도전적인 카테고리에서 SIFT보다 conv5 특징가 더 정확하고 일관성 있는 키포인트 예측을 제공한다.