[논문 리뷰] Learning to count with deep object features

Santi Seguí, Oriol Pujol외 1명|arXiv (Cornell University)|2015. 05. 29.

Video Surveillance and Tracking Methods참고 문헌 15인용 수 23

한 줄 요약

이 논문은 객체 인스턴스를 세는 데 훈련된 딥 컨volution 신경망(CNN)을 사용하여 약한 지도 학습 방법으로 강력하고 이식 가능한 객체 표현을 학습하는 것을 제안한다. 객체 위치에 대한 직접적인 지도가 없음에도 불구하고, 세는 신호를 활용하여 디지트와 보행자를 분류하고 국소화할 수 있도록 네트워크가 학습하며, 디지트 분류 및 보행자 검출과 같은 후행 작업에서 높은 정확도를 달성한다.

ABSTRACT

Learning to count is a learning strategy that has been recently proposed in the literature for dealing with problems where estimating the number of object instances in a scene is the final objective. In this framework, the task of learning to detect and localize individual object instances is seen as a harder task that can be evaded by casting the problem as that of computing a regression value from hand-crafted image features. In this paper we explore the features that are learned when training a counting convolutional neural network in order to understand their underlying representation. To this end we define a counting problem for MNIST data and show that the internal representation of the network is able to classify digits in spite of the fact that no direct supervision was provided for them during training. We also present preliminary results about a deep network that is able to count the number of pedestrians in a scene.

연구 동기 및 목표

• CNN를 객체 인스턴스를 세는 데 훈련시킬 경우, 경계 상자 애너테이션 없이도 객체 인식을 위한 분류 가능한 특징을 암묵적으로 학습할 수 있는지 조사하기.
• 세는 것이 객체 인식 작업에서 완전 지도 학습의 대체 수단으로 기능할 수 있는지 탐색하기.
• 세는 작업에서 학습된 특징의 이식 가능성 평가하기: 후행 분류 및 국소화 문제에 적용할 수 있는지 여부.
• 세는 CNN의 내부 표현 분석하여 암묵적으로 학습하는 개념은 무엇인지 파악하기.
• 실제 응용 사례인 감시 영상에서의 보행자 세기와 같은 상황에서 세는 것을 약한 지도 학습 전략으로 사용할 수 있는지 입증하기.

제안 방법

• 이미지 수준의 카운트만을 지도로 사용하여 MNIST 데이터에서 짝수 디지트의 수를 예측하도록 CNN를 훈련한다.
• 하이퍼컬럼 기반의 시각화를 사용하여 특징 활성화를 입력 이미지의 공간 위치로 매핑하여 관심 개념과 관련된 영역을 식별한다.
• 온라인 k-means 클러스터링을 사용해 특징 활성화를 프로토타입으로 그룹화한 후, 희소 특징 선택을 위해 ℓ1-정규화된 SVM를 적용한다.
• 이전에 식별된 긍정 영역을 조건으로 삼아 후속 시각화 단계를 조정하여 관심 개념의 국소화를 정밀화한다.
• 세는 네트워크에서 학습된 특징을 활용해 관련 작업(예: 짝수-홀수 디지트 분류, 디지트 인식)을 해결한다.
• 실제 감시 영상 데이터를 사용하여 보행자 세기 전용 별도의 CNN을 훈련하고, 평균 절대 오차 및 평균 제곱 오차를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 오직 특정 개념의 인스턴스 수를 세는 데 훈련된 CNN가, 경계 상자 애너테이션 없이도 의미 있고 이식 가능한 객체 인식 표현을 학습할 수 있는가?
• RQ2 세는 것이 얼마나 잘 객체 검출 및 분류 작업의 지도 학습 대체 수단으로 기능할 수 있는가?
• RQ3 어떤 종류의 객체 수준 개념(예: 디지트, 보행자)이 오직 세는 지도만으로 국소화 및 분류가 가능한가?
• RQ4 세는 CNN의 내부 표현이 객체 정체성과 공간 구조 지식을 얼마나 잘 반영하는가?
• RQ5 세는 네트워크의 성능이 추가 미세조정 없이도 분류 및 국소화와 같은 후행 작업으로 일반화되는가?

주요 결과

• MNIST 이미지에서 짝수 디지트를 세는 데 훈련된 CNN가 후행 작업인 짝수-홀수 디지트 분류에서 높은 성능을 보이며, 학습된 특징의 이식 가능성 입증.
• 경계 상자 지도 없이도 시각화를 통해 짝수 디지트의 위치를 국소화할 수 있었으며, 초록색으로 강조된 영역이 실제 디지트 위치와 일치함.
• 보행자 세기 네트워크는 평균 절대 오차 0.74와 평균 제곱 오차 1.12를 기록하여 실제 데이터에서 뛰어난 성능 보여줌.
• 시각화 결과, 관심 개념(예: 짝수 디지트 또는 보행자)과 관련된 영역에서 네트워크가 특징을 활성화함을 확인하여 효과적인 특징 학습을 입증.
• 세는 네트워크의 내부 표현은 명시적 레이블 없이도 객체 정체성과 공간 구조 정보를 암묵적으로 포함하고 있음.
• 이 방법은 완전 지도 학습 대체 전략으로서 잠재력을 보이며, 애너테이션 비용을 줄이면서도 높은 정확도 유지 가능함.