[논문 리뷰] End-to-end people detection in crowded scenes

Russell J. Stewart, Mykhaylo Andriluka|arXiv (Cornell University)|2015. 06. 16.

Video Surveillance and Tracking Methods참고 문헌 15인용 수 29

한 줄 요약

이 논문은 비디오에서 사람 검출 결과를 직접 출력하는 종단간(end-to-end), 순환 신경망 기반 객체 검출 시스템을 제안한다. 이 시스템은 LSTM 디코더를 사용하여 후처리 단계인 비최대 억제(Non-Maximum Suppression)가 필요 없이 이미지에서 사람 검출 결과의 집합을 직접 생성한다. 이 방법은 복잡한 시나리오 데이터셋에서 81%의 재현율과 0.78의 AP를 달성하여 기존의 OverFeat-GoogLeNet 대비 유의미한 성능 향상을 보였다. 이는 집합 기반 예측을 위한 새로운 미분 가능한 손실 함수 덕분이었다.

ABSTRACT

Current people detectors operate either by scanning an image in a sliding window fashion or by classifying a discrete set of proposals. We propose a model that is based on decoding an image into a set of people detections. Our system takes an image as input and directly outputs a set of distinct detection hypotheses. Because we generate predictions jointly, common post-processing steps such as non-maximum suppression are unnecessary. We use a recurrent LSTM layer for sequence generation and train our model end-to-end with a new loss function that operates on sets of detections. We demonstrate the effectiveness of our approach on the challenging task of detecting people in crowded scenes.

연구 동기 및 목표

• 기존 방법이 겹치는 검출 결과로 인해 실패하는, 다수의 부분적으로 가림을 겪는 사람을 포함한 복잡한 시나리오에서의 객체 검출 문제를 해결하기 위해.
• 검출 결과를 순차적으로 공동으로 생성함으로써 비최대 억제와 같은 후처리 단계에 의존하지 않도록 하기 위해.
• 특징 추출, 검출, 신뢰도 예측을 함께 최적화할 수 있는 학습 가능한 종단간 시스템을 개발하기 위해.
• 길이가 변할 수 있고 겹치는 인스턴스가 존재하는 객체 검출 결과 집합을 최적화하기에 적합한, 미분 가능한 손실 함수를 설계하기 위해.
• 고밀도 및 가림이 빈번한 실제 환경에서도 일반화 가능한 성능을 입증하기 위해.

제안 방법

• 모델은 검출 작업을 위한 입력 표현으로, 종단간으로 미세조정된 GoogLeNet 특징을 사용한다.
• 순환적인 LSTM 레이어가 이미지 표현을 길이가 가변적인 바운딩 박스 예측 시퀀스로 디코딩한다.
• 각 LSTM 단계는 클래스, 위치, 신뢰도 점수를 포함한 검출 가설을 생성한다.
• 새로운 미분 가능한 손실 함수인 L_set은 국소화 오차와 겹침을 고려한, 미분 가능한 매칭 함수를 사용하여 예측된 검출 결과를 진짜값과 매칭한다.
• 손실 함수는 전체 시퀀스를 거쳐 역전파를 가능하게 하여 특징 추출 및 검출 구성 요소를 함께 학습할 수 있도록 한다.
• LSTM의 은닉 상태를 통해 이전에 생성된 출력을 고려함으로써 중복 검출을 방지한다.

실험 결과

연구 질문

• RQ1 비최대 억제와 같은 후처리 없이, 이미지에서 길이가 가변적인 객체 검출 결과의 순차적 출력을 효과적으로 생성하기 위해 순환 신경망을 사용할 수 있는가?
• RQ2 길이가 변할 수 있고 겹치는 인스턴스가 존재하는 객체 검출 결과 집합을 최적화하기 위해 어떻게 미분 가능한 손실 함수를 설계할 수 있는가?
• RQ3 순차적 출력 생성 검출기의 종단간 학습 방식이 이중 단계 방법 대비 복잡한 시나리오에서 성능을 향상시키는가?
• RQ4 경험적 후처리에 의존하지 않고도 모델이 검출 결과에 적절한 신뢰도 점수를 부여할 수 있는가?
• RQ5 과거의 검출기인 OverFeat 및 R-CNN에 비해 이 모델이 복잡한 시나리오에서 재현율과 평균 평균 정밀도 측정치에서 얼마나 뛰어난가?

주요 결과

• 제안된 모델은 복잡한 시나리오 데이터셋에서 81%의 재현율을 달성하여 OverFeat-GoogLeNet의 71% 재현율보다 유의미하게 향상되었다.
• 모델은 0.78의 평균 평균 정밀도(AP)를 기록하여 OverFeat-GoogLeNet의 0.67 AP를 크게 능가했다.
• 사람 수 계산 오차는 OverFeat-GoogLeNet의 1.05에서 0.76으로 감소하여, 객체 수를 더 정확히 추정하는 데 성공했다.
• 고정된 공간 순서를 강제하는 L_fix 손실 함수는 성능이 열등하여, 영향력 있는 유연한 학습 기반 순서가 성능 향상에 필수적임을 보여주었다.
• 상위-k 예측을 진짜값과 매칭하는 L_firstk 손실 함수는 L_fix보다 성능이 뛰어나지만, 의미 있는 신뢰도 점수를 학습하지 못해, 손실 함수에 겹침을 고려한 매칭 기법이 필요함을 시사했다.
• 그림 3의 초록 화살표에서 볼 수 있듯이, 모델은 강한 가림 상황에서도 사람을 성공적으로 검출했고, OverFeat는 복잡한 영역에서 개인을 검출하지 못했다.