[논문 리뷰] Crowd Counting by Adapting Convolutional Neural Networks with Side Information

Di Kang, Debarun Dhar외 1명|arXiv (Cornell University)|2016. 11. 21.

Video Surveillance and Tracking Methods참고 문헌 19인용 수 19

한 줄 요약

이 논문은 카메라 각도와 높이와 같은 보조 정보를 사용하여 컨볼루션 필터 가중치를 동적으로 조정함으로써 맥락 인식 특징 학습을 가능하게 하는 적응형 컨볼루션 신경망(ACNN)을 제안한다. 보조 정보로 매개변수화된 다양한 다양체(manifold)를 통해 필터 가중치를 모델링함으로써, 표준 CNN에 비해 인구 수세기 정확도를 향상시키고, 미세조정 없이도 새로운 시나리오 맥락으로 일반화할 수 있다.

ABSTRACT

Computer vision tasks often have side information available that is helpful to solve the task. For example, for crowd counting, the camera perspective (e.g., camera angle and height) gives a clue about the appearance and scale of people in the scene. While side information has been shown to be useful for counting systems using traditional hand-crafted features, it has not been fully utilized in counting systems based on deep learning. In order to incorporate the available side information, we propose an adaptive convolutional neural network (ACNN), where the convolutional filter weights adapt to the current scene context via the side information. In particular, we model the filter weights as a low-dimensional manifold, parametrized by the side information, within the high-dimensional space of filter weights. With the help of side information and adaptive weights, the ACNN can disentangle the variations related to the side information, and extract discriminative features related to the current context. Since existing crowd counting datasets do not contain ground-truth side information, we collect a new dataset with the ground-truth camera angle and height as the side information. On experiments in crowd counting, the ACNN improves counting accuracy compared to a plain CNN with a similar number of parameters. We also apply ACNN to image deconvolution to show its potential effectiveness on other computer vision applications.

연구 동기 및 목표

• 카메라 각도, 높이 및 스케일과 같은 요인으로 인한 시점 왜곡과 외관 변동성을 명시적으로 맥락 정보를 통해 모델링하여 인구 수세기 문제를 해결하기 위해.
• 모든 맥락에서 고정된 필터를 사용하는 표준 CNN의 한계를 극복하기 위해, 카메라 각도, 높이 및 스케일로 인한 변동성을 엔터티화하지 않도록 하기 위해.
• 보조 보조 정보를 사용하여 다양한 시나리오 맥락에 적응할 수 있는 통합된 딥 러닝 아키텍처를 개발하여, 미세조정 없이도 다양한 시나리오 간 배포를 가능하게 하기 위해.
• ACNN 프레임워크의 적용 범위를 인구 수세기 외의 과제로 확장할 수 있음을 보여주기 위해, 특히 다양한 블러 커널을 가진 이미지 디컨볼루션과 같은 과제에 대해.
• 실제 다양한 환경에서 맥락 인식 수세기 평가를 가능하게 하기 위해, 지표 카메라 파라미터를 포함한 새로운 데이터셋을 수집하기 위해.

제안 방법

• ACNN 아키텍처는 고차원 가중치 공간 내에서 낮은 차원의 다양체로 컨볼루션 필터 가중치를 매개변수화하며, 이 다양체는 카메라 기울기 각도 및 높이와 같은 보조 정보에 의해 제어된다.
• 하위 네트워크가 보조 정보에 기반하여 필터 가중치를 생성함으로써, 추론 중에 각 시나리오 맥락에 맞게 네트워크가 필터를 적응시킬 수 있다.
• 필터 다양체는 학습 중에 학습되며, 이로 인해 맥락 관련 변동성(예: 시점 왜곡)과 콘텐츠 관련 특징을 분리할 수 있다.
• 이 방법은 필터의 미분 가능한 매개변수화를 사용하여 표준 백프로파게이션을 통해 엔드 투 엔드 학습이 가능하다.
• 이미지 디블러핑의 경우 보조 입력은 블러 커널 반경이며, ACNN은 다양한 커널 크기 간에 연속적인 필터 다양체를 학습한다.
• 아키텍처는 표준 CNN과 유사한 수의 파라미터를 유지하여 효율성을 확보하면서도 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 카메라 각도와 높이와 같은 보조 정보가 다양한 시나리오 맥락에서 인구 수세기 정확도 향상에 효과적으로 사용될 수 있는가?
• RQ2 적응형 CNN 아키텍처가 미세조정 없이도 새로운 시나리오 맥락(예: 새로운 카메라 각도 또는 높이)으로 일반화할 수 있는가?
• RQ3 보조 정보로 매개변수화된 다양체로 필터 가중치를 모델링할 경우, 고정된 필터에 비해 더 나은 특징 분리와 성능 향상을 이룰 수 있는가?
• RQ4 ACNN 프레임워크는 블러 커널 크기 등 변수 보조 입력을 가진 다른 컴퓨터 비전 과제로 확장될 수 있는가?
• RQ5 표준 CNN에 비해, ACNN은 훈련 중에 볼 수 없었던 보조 입력(예: 블러 커널 반경)에 대해 제로샷 일반화 성능에서 어떻게 성능을 발휘하는가?

주요 결과

• 카메라 각도와 높이를 보조 정보로 사용한 새로 수집한 데이터셋에서, ACNN은 유사한 수의 파라미터를 가진 표준 CNN보다 더 높은 인구 수세기 정확도를 달성한다.
• ACNN은 교차 시나리오 수세기에서 효과적으로 일반화되며, 어떤 미세조정 없이도 새로운 카메라 각도와 높이에서 양호한 성능을 보인다.
• 이미지 디블러핑 과제에서, 다섯 가지 커널 반경(3, 5, 7, 9, 11)으로 훈련된 ACNN은 원본 블러 이미지 대비 PSNR에서 +1.03 dB 향상되었으며, 테스트 전반에서 표준 CNN보다 거의 두 배에 가까운 성능 향상을 보였다.
• 세 가지 반경(3, 7, 11)으로만 훈련된 ACNN도 여전히 +0.84 dB의 PSNR 향상을 달성하여, 훈련 중에 볼 수 없었던 커널 크기의 제로샷 일반화 능력이 뛰어나다는 것을 입증했다.
• 시각적 결과에서는 ACNN 출력이 표준 CNN보다 더 많은 세부 정보를 가지며 덜 블러링된 것으로 나타났다. 표준 CNN는 일반적으로 디블러핑된 이미지를 과도하게 부드럽게 만든다.
• 디블러핑 과제에서 학습된 필터 다양체는 필터의 진폭과 주파수 모두가 블러 커널 반경에 따라 부드럽게 적응하는 것으로 나타나, 모델이 보조 입력 공간을 잘 보간할 수 있음을 확인했다.