[논문 리뷰] Factors in Finetuning Deep Model for object detection

Wanli Ouyang, Xiaogang Wang외 2명|arXiv (Cornell University)|2016. 01. 20.

Advanced Neural Network Applications참고 문헌 45인용 수 6

한 줄 요약

이 논문은 장기적 희귀 클래스 분포 하에서 객체 검출을 위한 딥 모델의 미세조정 성능을 향상시키기 위해 계층적 특징 학습 방법을 제안한다. 시각적으로 유사한 그룹으로 객체 클래스를 군집화하고 점진적으로 특정도가 높아지는 수준에서 모델을 미세조정함으로써, 추론 비용을 크게 증가시키지 않으면서 ImageNet에서 4.7%의 절대 mAP 향상을 달성한다.

ABSTRACT

Finetuning from a pretrained deep model is found to yield state-of-the-art performance for many vision tasks. This paper investigates many factors that influence the performance in finetuning for object detection. There is a long-tailed distribution of sample numbers for classes in object detection. Our analysis and empirical results show that classes with more samples have higher impact on the feature learning. And it is better to make the sample number more uniform across classes. Generic object detection can be considered as multiple equally important tasks. Detection of each class is a task. These classes/tasks have their individuality in discriminative visual appearance representation. Taking this individuality into account, we cluster objects into visually similar class groups and learn deep representations for these groups separately. A hierarchical feature learning scheme is proposed. In this scheme, the knowledge from the group with large number of classes is transferred for learning features in its sub-groups. Finetuned on the GoogLeNet model, experimental results show 4.7% absolute mAP improvement of our approach on the ImageNet object detection dataset without increasing much computational cost at the testing stage.

연구 동기 및 목표

• 희귀 클래스가 부족하게 나타나는 장기적 클래스 분포 문제를 해결한다.
• 객체 클래스 간 샘플 불균형이 딥 모델의 미세조정 과정에서 특징 학습에 미치는 영향을 조사한다.
• 일반적인 공유 표현 대신, 시각적으로 유사한 클래스 그룹에 특화된 특징을 학습하여 희귀 클래스의 검출 성능을 향상시킨다.
• 더 넓은 범주에서 더 구체적인 클래스 그룹으로 지식을 전이하는 계층적 순차적 미세조정 전략을 개발한다.
• 추론 시 계산 비용을 최소화하면서도 상당한 mAP 향상을 달성한다.

제안 방법

• 모델의 특징 학습을 위해 시각적 외관 기반으로 유사한 클래스 그룹(예: 포유류 또는 차량 등)으로 객체 클래스를 군집화한다.
• 모델을 점진적으로 훈련하는 계단식 계층적 미세조정 체계를 구현한다: 200개 클래스(레벨 1), 4개 그룹(레벨 2), 7개 그룹(레벨 3), 18개 그룹(레벨 4).
• 낮은 수준의 모델(예: 레벨 1 또는 2)의 가중치를 사용하여 높은 수준의 모델(예: 레벨 3 또는 4)을 미세조정함으로써 일반적인 클래스에서 구체적인 클래스로 지식 전이를 가능하게 한다.
• 각 레벨에서 바운딩 박스 거부 기법을 적용하여 후보 영역 수를 줄여 추론 비용을 유지한다 — 레벨 4에서는 평균적으로 모델당 이미지당 5.6개의 상자만 사용한다.
• 백본으로 GoogLeNet을 사용하고, ImageNet 검출 데이터셋에서 훈련하며, ILSVRC14 검증 세트에서 평가한다.
• 더 넓은 수준에서 더 좁은 수준으로의 순차적 미세조정 전략을 확보함으로써, ImageNet 사전학습 모델에서 작은 그룹으로 직접 미세조정하는 것을 방지한다.

실험 결과

연구 질문

• RQ1 장기적 클래스 분포가 객체 검출의 미세조정 과정에서 특징 학습에 어떤 영향을 미치는가?
• RQ2 모든 클래스에 대해 공통된 특징 표현을 학습하는 것이 희귀 장기적 클래스의 성능에 악영향을 미치는가?
• RQ3 시각적으로 유사한 클래스를 군집화하고 계층적으로 특징을 학습하면, 특히 희귀 클래스의 검출 정확도 향상에 기여하는가?
• RQ4 최적의 미세조정 전략은 직접 작은 그룹에서 미세조정하는 것인가, 아니면 중간 단계를 거쳐 점진적으로 미세조정하는 것인가?
• RQ5 기본적인 미세조정과 비교해 계층적 계단식 전략은 계산 비용을 줄이면서 mAP 향상을 이룰 수 있는가?

주요 결과

• 제안된 계층적 미세조정 방법을 사용하여 기존의 표준 미세조정 대비 ImageNet 객체 검출 데이터셋에서 4.7%의 절대 mAP 향상을 달성하였다.
• mAP는 레벨 1의 40.3%에서 레벨 4의 45%로 증가하여 계층 깊이가 증가할수록 일관된 향상이 나타났다.
• 200개 클래스에서 사전학습된 모델에서 시작해 미세조정하는 것이, 작은 그룹(예: 레벨 2에서 4개 그룹)으로 직접 미세조정하는 것보다 더 높은 성능을 내어 지식 전이의 유용성을 입증한다.
• 레벨 4에서 평균적으로 이미지당 평가되는 후보 상자 수는 5.6개로 줄었고, 전체적으로 약 100개의 상자만 사용되어 추론 비용이 낮다는 것을 시사한다.
• 객체 클래스를 4개 그룹으로 군집화했을 때, PASCAL VOC 2007에서 1.2%의 mAP 향상을 달성하였다.
• 넓은 그룹에서 더 좁은 그룹으로 점진적으로 미세조정하는 계단식 전략이, 200개 클래스에서 작은 그룹으로 급격히 건너뛰는 전략보다 성능이 뛰어나, 점진적 특화의 중요성을 확인한다.