[논문 리뷰] Learning Short-Cut Connections for Object Counting

Daniel Oñoro-Rubio, Mathias Niepert외 1명|arXiv (Cornell University)|2018. 05. 08.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 11

한 줄 요약

이 논문은 객체 수세기의 새로운 컨volution-디컨volution 아키텍처인 게이트드 U-Net(GU-Net)을 제안한다. 이는 인코더와 디코더 레이어 간의 짧은 연결(short-cut connections)을 미분 가능한 게이팅 유닛으로 학습하는 방식으로, 적응적이고 학습 가능한 정보 흐름을 가능하게 하여 특징 병합(feature fusion)을 향상시키고, 경쟁 모델들보다 파rameter 수가 적은데도 불구하고 군중 및 차량 수세기 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Object counting is an important task in computer vision due to its growing demand in applications such as traffic monitoring or surveillance. In this paper, we consider object counting as a learning problem of a joint feature extraction and pixel-wise object density estimation with Convolutional-Deconvolutional networks. We introduce a novel counting model, named Gated U-Net (GU-Net). Specifically, we propose to enrich the U-Net architecture with the concept of learnable short-cut connections. Standard short-cut connections are connections between layers in deep neural networks which skip at least one intermediate layer. Instead of simply setting short-cut connections, we propose to learn these connections from data. Therefore, our short-cuts can work as gating units, which optimize the flow of information between convolutional and deconvolutional layers in the U-Net architecture. We evaluate the introduced GU-Net architecture on three commonly used benchmark data sets for object counting. GU-Nets consistently outperform the base U-Net architecture, and achieve state-of-the-art performance.

연구 동기 및 목표

• 밀도가 높은 장면에서 U-Net 유사 아키텍처의 특징 병합을 향상시켜 객체 수세기를 향상시키기 위해.
• 밀도 추정을 위한 딥 네트워크에서 고정되거나 학습되지 않은 스킵 커넥션의 한계를 해결하기 위해.
• 컨볼루션 및 디컨볼루션 레이어 간의 정보 흐름을 동적으로 제어할 수 있는 학습 가능한 게이팅 메커니즘을 개발하기 위해.
• ImageNet 미사전학습을 활용하지 않고도 표준 객체 수세기 벤치마크에서 최고 성능을 달성하기 위해.
• 학습 가능한 짧은 연결이 수세기 작업에서 표준 잔여(connection) 또는 스킵 커넥션을 능가할 수 있음을 보여주기 위해.

제안 방법

• U-Net 아키텍처의 인코더와 디코더 레이어 간에 동적이고 미분 가능한 짧은 연결로 학습 가능한 게이팅 유닛을 제안한다.
• 각 게이팅 유닛은 인코더의 특징 맵에 대해 학습 가능한 시그모이드 게이트를 적용한 후, 디코더 특징과 연결한다.
• 게이팅 메커니즘은 입력 데이터에 따라 어떤 특징을 전달하고, 어느 정도의 정도로 전달할지를 네트워크가 학습할 수 있도록 한다.
• 모델은 밀도 맵에 대한 표준 회귀 손실을 사용하여 엔드 투 엔드 백프로파게이션으로 훈련된다.
• 모델은 애너테이션된 객체 위치에서 유도된 가우시안 커널 기반의 진짜 밀도 맵을 사용한다.
• 방법론은 상하이테크, UCSD, PETS2009 세 가지 벤치마크 데이터셋에서 표준 지표(MAE, MSE)를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 학습 가능한 짧은 연결이 U-Net 기반 아키텍처에서 특징 병합과 수세기 정확도를 향상시킬 수 있는가?
• RQ2 객체 수세기 작업에서 고정된 스킵 커넥션과 비교해 미분 가능한 게이팅 메커니즘은 어떻게 성능을 냈는가?
• RQ3 학습 가능한 게이팅을 갖춘 경량이며 미사전학습된 모델이 객체 수세기 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 제안된 게이팅 메커니즘이 군중 및 차량 수세기 데이터셋 양쪽에서 성능 향상을 이끌 수 있는가?
• RQ5 게이팅 메커니즘이 딥 디컨볼루션 네트워크에서 기울기 흐름과 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• GU-Net은 상하이테크 파트 B 데이터셋에서 CSRNet과 CP-CNN를 능가하는 최고 성능을 기록했으며, 파라미터 수가 280만 개에 불과하다.
• 상하이테크 파트 A 데이터셋에서 GU-Net은 MAE를 U-Net 기준 104.9에서 101.4로 감소시켜 기준 모델 대비 일관된 향상을 보였다.
• UCSD 데이터셋에서 GU-Net은 MAE 1.25를 기록하여 U-Net 기준 1.28을 넘어서고, ImageNet 미사전학습 없이도 CSRNet의 1.16에 가까운 성능을 달성했다.
• CSRNet(1680만 파라미터)이 VGG16을 백본으로 사용하는 데 비해, GU-Net은 훨씬 적은 파라미터(280만)로도 이러한 성능을 달성했다.
• 제거 분석(ablation study)은 학습 가능한 게이팅이 고정된 스킵 커넥션과 표준 U-Net보다 성능 향상을 이룬다는 것을 확인했다.
• 제안된 게이팅 메커니즘은 특히 고밀도 장면에서 더 나은 특징 선택과 정보 흐름을 가능하게 하였다.