[논문 리뷰] What is Holding Back Convnets for Detection?

Bojan Pepik, Rodrigo Benenson외 2명|arXiv (Cornell University)|2015. 08. 12.

Advanced Neural Network Applications참고 문헌 11인용 수 21

한 줄 요약

이 논문은 대규모 훈련에도 불구하고 최첨단 ConvNets가 객체 검출에서 성능이 떨어지는 이유를 조사하며, 물체의 회전, 가림, 잘림, 소형 크기와 같은 외관 요인에 대해 불변성이 부족하다는 것을 밝혀냈다. Pascal3D+와 합성 렌더링을 사용하여 저자들은 아키텍처적 한계가 단지 데이터 양 때문이 아니며, 사실 사진처럼 생긴 합성 데이터가 검출 정확도를 크게 향상시킨다는 것을 보여주었고, Pascal3D+에서 최첨단 mAP 67.2를 달성했다.

ABSTRACT

Convolutional neural networks have recently shown excellent results in general object detection and many other tasks. Albeit very effective, they involve many user-defined design choices. In this paper we want to better understand these choices by inspecting two key aspects "what did the network learn?", and "what can the network learn?". We exploit new annotations (Pascal3D+), to enable a new empirical analysis of the R-CNN detector. Despite common belief, our results indicate that existing state-of-the-art convnet architectures are not invariant to various appearance factors. In fact, all considered networks have similar weak points which cannot be mitigated by simply increasing the training data (architectural changes are needed). We show that overall performance can improve when using image renderings for data augmentation. We report the best known results on the Pascal3D+ detection and view-point estimation tasks.

연구 동기 및 목표

• 현재의 최첨단 ConvNet 아키텍처가 외관 요인(예: 회전, 크기, 잘림, 가림)에 대해 불변성이 부족한 주요 요인을 규명하는 것.
• 훈련 데이터를 단순히 늘리는 것으로 검출 작업의 성능 저하 요인을 극복할 수 있는지 확인하는 것.
• 합성 이미지 렌더링(예: 와이어프레임, 텍스처가 있는 모델, 텍스처 전이)이 검출 일반화를 향상시키는 데 효과적인지 평가하는 것.
• 소형, 잘린, 가려진 물체를 지속적으로 탐지하지 못하는 약점을 해결하기 위해 아키텍처적 변경이 필요한지 확인하는 것.
• 데이터 증강 전략을 사용하여 Pascal3D+의 검출 및 시점 추정 벤치마크에서 최첨단 성능을 달성하는 것.

제안 방법

• 세부적인 3D 애너테이션을 제공하는 Pascal3D+ 데이터셋을 활용하여 다양한 외관 요인 하에서 검출 성능의 세밀한 분석을 가능하게 하였다.
• 실제 및 합성 데이터에 대해 미세조정된 사전 훈련된 ConvNets(AlexNet, GoogleNet, VGG16)를 사용하여 R-CNN 파이프라인을 훈련하였으며, 최종 검출 점수는 SVM 분류기를 사용하였다.
• 다양한 현실성 수준(와이어프레임, 단순 텍스처, 텍스처 전이 기법)을 가진 CAD 모델을 사용하여 합성 훈련 데이터를 생성하였다.
• 실제 데이터와 합성 데이터를 다양한 비율(예: 실수 대 합성 1:2)로 조합하여 데이터 효율성과 성능 향상 정도를 평가하였다.
• 소형 및 정확도가 낮은 물체의 검출을 향상시키기 위해 크기별 전용 모델과 바운딩 박스 회귀를 강화한 모델을 도입하였다.
• 검출 및 3D 자세 추정 정확도 평가를 위해 mAP와 AAVP(평균 각도 시점 예측) 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 현재 최첨단 ConvNets가 객체 검출에서 핵심 외관 요인(예: 회전, 크기, 잘림, 가림)에 대해 불변성이 있는가?
• RQ2 실제 훈련 데이터의 양을 단순히 늘리는 것으로 성능 향상이 어느 정도 달성될 수 있는가?
• RQ3 특히 현실감 있는 수준이 높은 합성 이미지 렌더링이 도전적인 케이스에서 검출 성능을 크게 향상시킬 수 있는가?
• RQ4 어느 유형의 합성 데이터(예: 와이어프레임, 텍스처가 있는 모델, 텍스처 전이)가 가장 효과적인 성능 향상을 가져오는가?
• RQ5 소형, 잘린, 가려진 물체에 대한 지속적인 검출 약점을 극복하기 위해 어떤 아키텍처나 훈련 수정이 필요한가?

주요 결과

• 검토된 최첨단 ConvNets(AlexNet, GoogleNet, VGG16)는 모두 소형, 잘린, 가려진 물체를 탐지하는 데 유사한 약점을 보이며, 이는 데이터 부족이 아니라 아키텍처적 한계 때문임을 시사한다.
• 실제 훈련 데이터의 양을 늘리는 것으로는 이러한 약점을 해결할 수 없으며, 아키텍처적 또는 인도크티브 비어스의 변경이 필요하다는 것을 시사한다.
• 합성 렌더링은 검출 성능 향상에 크게 기여한다: 텍스처 전이 렌더링만으로도 실데이터만 사용할 때 대비 mAP가 4점 향상되어 VGG16 기준 51.2에서 55.2 mAP로 상승했다.
• 실제 데이터와 합성 데이터를 1:2 비율로 조합하면 최적의 균형을 이룰 수 있었으며, 텍스처 전이와 복합 모델을 사용할 경우 mAP가 64.1에 도달했다.
• 크기별 전용 모델과 바운딩 박스 회귀를 추가함으로써 mAP는 67.2에 도달하였으며, 이는 Pascal3D+에서 보고된 최고의 결과이다.
• 최종 모델은 43.8 AAVP를 기록하여 3D 물체 자세 예측 분야에서 최첨단 성능을 입증하였다.