[논문 리뷰] Convolutional Channel Features For Pedestrian, Face and Edge Detection.

Bin Yang, Junjie Yan외 2명|arXiv (Cornell University)|2015. 04. 28.

Advanced Neural Network Applications참고 문헌 44인용 수 16

한 줄 요약

이 논문은 사전 훈련된 CNN 특징과 부스팅 숲 모델을 결합하여 보행자, 얼굴, 에지, 객체 제안 등의 작업에서 효율적이고 고성능의 검출을 가능하게 하는 통합 프레임워크인 컨볼루션 채널 특징(Convolu-tional Channel Features, CCF)을 제안한다. 저수준의 CNN 특징을 경량 앙상블 모델로 이전함으로써 CCF는 CNN을 미세조정하지 않고도 최신 기술 수준의 성능을 달성하며, 엔드 투 엔드 딥 러닝 방법에 비해 계산 비용을 줄였다.

ABSTRACT

Deep learning methods are powerful tools but often suffer from expensive computation and limited flexibility. An alternative is to combine light-weight models with deep representations. As successful cases exist in several visual problems, a unified framework is absent. In this paper, we revisit two widely used approaches in computer vision, namely filtered channel features and Convolutional Neural Networks (CNN), and absorb merits from both by proposing an integrated method called Convolutional Channel Features (CCF). CCF transfers low-level features from pre-trained CNN models to feed the boosting forest model. With the combination of CNN features and boosting forest, CCF benefits from the richer capacity in feature representation compared with channel features, as well as lower cost in computation and storage compared with end-to-end CNN methods. We show that CCF serves as a good way of tailoring pre-trained CNN models to diverse tasks without fine-tuning the whole network to each task by achieving state-of-the-art performances in pedestrian detection, face detection, edge detection and object proposal generation.

연구 동기 및 목표

• 시각 검출 작업에 대한 엔드 투 엔드 딥 러닝 모델의 높은 계산 비용과 유연성 부족 문제를 해결하기 위해.
• 보행자, 얼굴, 에지 및 객체 제안과 같은 다양한 검출 작업을 하나의 유연한 프레임워크로 통합하기 위해.
• 사전 훈련된 CNN의 풍부한 특징 표현을 활용하면서도 경량 부스팅 숲을 통해 낮은 추론 비용을 유지하기 위해.
• 사용자 정의 작업에 대한 CNN의 특수화된 미세조정이 필요 없도록, 통합 파이프라인을 통해 사전 훈련된 특징을 새로운 작업에 맞게 조정하기 위해.

제안 방법

• CCF는 네트워크 가중치를 미세조정하지 않고 사전 훈련된 컨볼루션 신경망(CNN)으로부터 저수준 특징을 추출한다.
• 이 특징들은 채널 단위의 변환을 거쳐 컨볼루션 채널 특징(CCF)을 형성하며, 공간적 및 계층적 정보를 유지한다.
• 그런 다음 CCF 특징들은 분류 및 회귀 작업을 위한 부스팅 숲 모델(XGBoost 또는 LightGBM 등)에 입력된다.
• 부스팅 숲은 CNN으로부터 얻은 풍부하고 이식 가능한 특징을 사용하여 작업별로 특화된 결정 경계를 학습함으로써 효율적인 추론을 가능하게 한다.
• CCF는 CNN을 동 冻결하고 오직 위에 있는 부스팅 컴ponent만 훈련함으로써 엔드 투 엔드 훈련을 피한다.
• 동일한 사전 훈련된 CNN을 재사용하고 특징 이식을 통해 오직 최종 분류기 헤드만을 조정함으로써 여러 작업을 지원한다.

실험 결과

연구 질문

• RQ1 사용자 정의 작업에 대한 사전 훈련된 CNN 특징을 특수화된 미세조정 없이 효과적으로 다양한 검출 작업으로 이식할 수 있는 통합 프레임워크는 가능한가?
• RQ2 엔드 투 엔드 CNN과 비교할 때 CNN 특징과 부스팅 숲을 조합하는 방식은 정확도와 계산 효율성 측면에서 어떻게 다른가?
• RQ3 딥 네트워크의 저수준 특징을 경량 모델이 얼마나 효과적으로 활용할 수 있는가?
• RQ4 제안된 CCF 프레임워크는 보행자, 얼굴, 에지 검출을 포함한 다양한 검출 벤치마크에서 최신 기술 수준의 성능을 달성하는가?
• RQ5 낮은 계산 및 저장 오버헤드를 유지하면서도 다양한 시각 검출 작업 간에 일반화가 가능한가?

주요 결과

• CCF는 사전 훈련된 CNN을 미세조정하지 않고도 보행자 검출 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 엔드 투 엔드 CNN에 비해 계산 및 저장 비용을 크게 줄였지만 높은 정확도를 유지한다.
• 에지 검출 및 객체 제안 생성에서 전통적인 채널 특징과 기존의 경량 모델보다 CCF가 뛰어난 성능을 보인다.
• 동일한 사전 훈련된 CNN을 재사용하고 오직 부스팅 숲 컴ponent만 훈련함으로써 새로운 검출 작업에 빠르게 적응할 수 있다.
• CNN 특징과 부스팅 숲의 통합은 단순한 채널 특징보다 향상된 특징 표현을 이끌어낸다.
• CCF는 보행자, 얼굴, 에지 검출을 포함한 다양한 시각 검출 작업 간에 강력한 일반화 능력을 보이며 일관된 성능 향상을 보였다.