[논문 리뷰] Pedestrian Detection aided by Deep Learning Semantic Tasks

Yonglong Tian, Ping Luo외 2명|arXiv (Cornell University)|2014. 11. 29.

Advanced Neural Network Applications참고 문헌 34인용 수 7

한 줄 요약

이 논문은 보행자 검출과 의미적 속성—보행자 중심 속성(예: '배낭 메고 있음')과 환경 수준 속성(예: '나무', '도로')—을 함께 최적화하는 다중 작업 딥러닝 프레임워크인 Task-Assistant CNN(TA-CNN)을 제안한다. 외부 세그멘테이션 데이터셋에서 환경 속성을 전이함으로써 이를 달성한다. 다양한 데이터 소스에서 공유 및 비공유 속성을 통해 고수준 표현을 학습하고, 적응형 다중 작업 손실을 사용함으로써 TA-CNN은 최신 딥 모델 대비 Caltech에서 17%, ETH에서 5.5%의 미스 레이트 감소를 달성한다.

ABSTRACT

Deep learning methods have achieved great success in pedestrian detection, owing to its ability to learn features from raw pixels. However, they mainly capture middle-level representations, such as pose of pedestrian, but confuse positive with hard negative samples, which have large ambiguity, e.g. the shape and appearance of `tree trunk' or `wire pole' are similar to pedestrian in certain viewpoint. This ambiguity can be distinguished by high-level representation. To this end, this work jointly optimizes pedestrian detection with semantic tasks, including pedestrian attributes (e.g. `carrying backpack') and scene attributes (e.g. `road', `tree', and `horizontal'). Rather than expensively annotating scene attributes, we transfer attributes information from existing scene segmentation datasets to the pedestrian dataset, by proposing a novel deep model to learn high-level features from multiple tasks and multiple data sources. Since distinct tasks have distinct convergence rates and data from different datasets have different distributions, a multi-task objective function is carefully designed to coordinate tasks and reduce discrepancies among datasets. The importance coefficients of tasks and network parameters in this objective function can be iteratively estimated. Extensive evaluations show that the proposed approach outperforms the state-of-the-art on the challenging Caltech and ETH datasets, where it reduces the miss rates of previous deep models by 17 and 5.5 percent, respectively.

연구 동기 및 목표

• 수목의 기둥이나 기둥과 유사하게 보이는 어려운 음성 샘플(예: 나무 기둥, 기둥 등)을 구분하는 데 어려움을 해결한다.
• 딥러닝 모델이 주로 중간 수준의 특징을 학습하고, 모호한 양성 및 음성 샘플을 구분하지 못하는 한계를 극복한다.
• 보행자 및 환경 속성에서 유도된 고수준 의미적 표현을 활용하여 검출의 강건성과 일반화 능력을 향상시킨다.
• 기존의 환경 세그멘테이션 데이터셋에서 지식을 전이함으로써 환경 속성의 수동 레이블링이 필요한 비용을 줄인다.
• 다양한 수렴 속도와 데이터 분포 변화를 가진 여러 작업을 조율하는 통합된 딥러닝 프레임워크를 개발한다.

제안 방법

• 보행자 검출과 보조 의미적 작업(예: '성별', '배낭' 등의 보행자 속성, '나무', '수직' 등의 환경 속성)을 함께 최적화하는 Task-Assistant CNN(TA-CNN)을 제안한다.
• PASCAL VOC, Cityscapes 등의 외부 환경 세그멘테이션 데이터셋(예: PASCAL VOC, Cityscapes)에서 환경 속성 레이블을 구조적 투영을 통해 보행자 데이터셋으로 전이함으로써 수동 레이블링을 방지한다.
• 공유 및 비공유 환경 속성 도입: 공유 속성(다양한 데이터셋 간에 공통인 속성)은 다중 데이터셋 표현 학습을 촉진하고, 비공유 속성은 특징의 다양성을 향상시킨다.
• 학습 가능한 작업 중요도 계수와 공유 네트워크 파rameter를 갖춘 다중 작업 목적 함수를 설계하고, 확률적 경사 하강법을 통해 다양한 수렴 속도와 데이터 분포 변화를 균형 잡는다.
• 학습 전에 환경 데이터셋의 샘플을 보행자 데이터셋의 구조적 공간으로 투영하여 도메인 갭을 줄인다.
• 작업 가중치와 네트워크 파rameter를 반복적으로 추정함으로써 검출 및 의미적 속성 예측을 함께 훈련하기 위한 가중 다변량 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 보조 속성에서 유도된 고수준 의미적 표현이, 특히 어려운 음성 샘플을 구분하는 데 도움이 되어 보행자 검출 성능을 향상시킬 수 있는가?
• RQ2 환경 속성의 수동 레이블링 없이도 기존의 환경 세그멘테이션 데이터셋에서의 지식을 보행자 검출 작업에 효과적으로 전이할 수 있는가?
• RQ3 공유된 환경 속성과 비공유된 환경 속성이 다양한 데이터 분포 간에 강건하고 일반화 가능한 특징 학습에 미치는 영향은 어떠한가?
• RQ4 다양한 수렴 속도와 통계 분포를 가진 데이터 소스를 가진 작업들 간에 다중 작업 학습을 효과적으로 조율할 수 있는가?
• RQ5 의미적 속성과 함께 최적화할 경우, 최신 딥러닝 모델 및 수작업 특징 기반 검출기 대비 미스 레이트 감소 정도는 어느 정도인가?

주요 결과

• TA-CNN은 이전의 딥러닝 모델 대비 Caltech-Test 데이터셋에서 로그 평균 미스 레이트를 17% 감소시켰다.
• ETH 데이터셋에서는 최고 성능을 보인 딥 모델 대비 5.5% 낮은 미스 레이트를 기록했으며, 최종 로그 평균 미스 레이트는 34.99%였다.
• 보행자 속성만 통합했을 경우, 주 검출 작업만 수행하는 것에 비해 미스 레이트가 5.5% 감소했다.
• 공유된 환경 속성을 통합하면 추가로 1.8% 감소했고, 비공유 속성을 추가로 통합하면 추가로 1.2% 감소했다.
• 수작업 특징 방법인 FisherBoost와 Roerei에 비해 각각 9.8%와 8.5%의 미스 레이트 감소를 기록했다.
• ETH 데이터셋에서 SDN 및 DBN-Mul과 같은 다른 딥 모델보다 각각 5.5%와 6%의 미스 레이트 감소를 기록했으며, MultiSDP 대비 12.7%의 미스 레이트 감소를 달성했다.