[논문 리뷰] On-the-fly Network Pruning for Object Detection

Marc Masana, Joost van de Weijer외 1명|arXiv (Cornell University)|2016. 05. 11.

Advanced Neural Network Applications참고 문헌 5인용 수 5

한 줄 요약

이 논문은 한 장의 이미지에서 유도된 수천 개의 후보 바운딩 박스를 처리하기 전에 이미지 수준의 특징 활성화를 활용하여 전방향으로 네트워크 프루닝을 수행하는 실시간 네트워크 프루닝 기법을 제안한다. 이 방법은 전체 이미지에 걸쳐 거의 영향을 주지 않는 활성화를 보이는 단위를 식별하고 제거함으로써 완전히 연결된 레이어의 중복된 단위를 동적으로 제거한다. 이로 인해 mAP 손실이 최소한이면서도 최대 40%까지 네트워크 파라미터를 감소시켜 재학습 없이도 추론 효율성을 크게 향상시킨다.

ABSTRACT

Object detection with deep neural networks is often performed by passing a few thousand candidate bounding boxes through a deep neural network for each image. These bounding boxes are highly correlated since they originate from the same image. In this paper we investigate how to exploit feature occurrence at the image scale to prune the neural network which is subsequently applied to all bounding boxes. We show that removing units which have near-zero activation in the image allows us to significantly reduce the number of parameters in the network. Results on the PASCAL 2007 Object Detection Challenge demonstrate that up to 40% of units in some fully-connected layers can be entirely eliminated with little change in the detection result.

연구 동기 및 목표

• 단일 이미지에서 유도된 수천 개의 상관관계가 있는 후보 바운딩 박스 간의 높은 상관관계를 활용하여 객체 검출의 계산 비용을 줄이기 위해.
• 정적 또는 사후 학습 프루닝이 아닌, 이미지 수준의 활성화 패tern을 기반으로 재활용 가능한 신경망 단위를 동적으로 제거하는 전략을 개발하기 위해.
• 전체 이미지에 걸쳐 거의 영향을 주지 않는 활성화를 보이는 단위를 제거함으로써 모델 복잡성을 줄이면서도 높은 검출 정확도를 유지하기 위해.
• 활성화 분석을 통해 완전히 연결된 레이어의 전방 및 후방 단위를 모두 프루닝할 수 있는지 탐색하기 위해.
• 수정된 VGG16 아키텍처를 사용한 Fast R-CNN 프레임워크를 기반으로 PASCAL VOC 2007 데이터셋에서 이 방법을 평가하기 위해.

제안 방법

• 이 방법은 fc6 레이어에서 전방 단위 프루닝을 수행하며, 공간 차원에 걸쳐 거의 영향을 주지 않는 활성화를 보이는 pool5 레이어의 단위를 임계값을 적용한 활성화 합계 기반으로 식별하고 제거한다.
• 후방 단위 프루닝은 fc8 레이어에 적용되며, 사전 분류기로 이미지 내에서 가능성이 높은 객체 클래스를 예측한 후 상위-N 클래스만 유지하고 나머지는 가중치 및 편향 행렬에서 제거한다.
• 이 방법은 ReLU 활성화 함수를 사용하며, 임계값 이하의 활성화를 가진 단위는 0으로 간주하여 가중치 행렬의 해당 행과 편향 벡터에서 제거할 수 있다.
• 프루닝은 후보 바운딩 박스를 처리하기 이전에 적용되므로, 모든 후보 박스에 대해 더 작은, 더 효율적인 네트워크를 사용할 수 있다.
• 이 방법은 활성화 분석이 레이어에 종속되지 않기 때문에 완전히 연결된 레이어뿐 아니라 컨볼루션 레이어에도 적용 가능하다.
• 프루닝 후 네트워크는 재학습되지 않으며, 프루닝된 네트워크는 원본 학습된 가중치를 그대로 사용하며, 비활성 단위의 구조적 제거를 통해 파라미터 감소를 달성한다.

실험 결과

연구 질문

• RQ1 수천 개의 상관관계가 있는 바운딩 박스를 처리하기 전에 이미지 수준의 활성화 패턴을 활용하여 신경망 내의 중복 단위를 식별하고 제거할 수 있는가?
• RQ2 객체 검출 성능에 큰 영향을 주지 않으면서 완전히 연결된 레이어에서 얼마나 많은 파라미터 감소를 달성할 수 있는가?
• RQ3 특징 맵 활성화 기반의 전방 프루닝과 예측된 클래스 확률 기반의 후방 프루닝 간 정확도 및 효율성 측면에서의 비교는 어떠한가?
• RQ4 검출 성능를 유지하면서도 근사적으로 영향을 주지 않는 활성화를 식별하는 데 최적의 임계값은 무엇인가?
• RQ5 이 실시간 프루닝 전략은 세그멘테이션과 같은 다른 레이어나 작업으로 확장될 수 있는가?

주요 결과

• fc6 레이어에서 최대 40%의 단위를 프루닝해도 mAP 손실이 1% 미만이며, 이는 높은 파라미터 감소와 최소한의 정확도 영향을 보여준다.
• pool5 레이어에서의 전방 프루닝은 fc6의 파라미터를 25~40% 감소시키며 mAP 손실이 1% 미만이었으며, 이는 높은 효율성과 강건성을 보여준다.
• fc8에서의 후방 프루닝은 6개 이상의 클래스를 유지할 경우 최대 70%의 파라미터 감소를 달성했으며, mAP 손실이 1% 미만이었으며, 출력 레이어 압축에서 뛰어난 성능을 보였다.
• fc6에서 40% 이상의 파라미터 감소 또는 fc8에서 6개 미만의 클래스 유지 시 성능 저하가 발생했으며, 이는 높은 프루닝 비율에서의 성능 트레이드오���을 시사한다.
• 낮은 활성화를 보이는 단위를 프루닝할 경우 초반에 약간의 성능 향상이 관찰되었으며, 이는 무시할 수 없는 활성화에서 유래하는 노이즈 감소 때문일 수 있다.
• fc8의 전체 네트워크 파라미터 중 소수의 비율만 차지함에도 불구하고 이 방법이 효과를 보였으며, 많은 출력 클래스를 가진 모델에서의 적용 가능성을 시사한다.