[논문 리뷰] How deep should be the depth of convolutional neural networks: a backyard dog case study

Alexander N. Gorban, Evgeny M. Mirkes외 1명|arXiv (Cornell University)|2018. 05. 03.

Face recognition and analysis참고 문헌 20인용 수 6

한 줄 요약

이 논문은 전이 학습된 깊은 컨볼루션 신경망을 전문화된 작업을 위한 얕고 효율적인 모델로 압축하기 위해 고도화된 감독 주성분 분석(ASPCA) 기반의 반복적이지 않은 네트워크 얕은 알고리즘을 제안한다. 얼굴 인식에 적용된 결과, VGG-16을 16층에서 5층으로 줄였지만 낮은 오류율(MF+MO < 6%)을 유지하였으며, 라즈베리 파이와 같은 저전력 하드웨어에서 실시간 추론이 가능하다.

ABSTRACT

The work concerns the problem of reducing a pre-trained deep neuronal network to a smaller network, with just few layers, whilst retaining the network's functionality on a given task The proposed approach is motivated by the observation that the aim to deliver the highest accuracy possible in the broadest range of operational conditions, which many deep neural networks models strive to achieve, may not necessarily be always needed, desired, or even achievable due to the lack of data or technical constraints. In relation to the face recognition problem, we formulated an example of such a usecase, the `backyard dog' problem. The `backyard dog', implemented by a lean network, should correctly identify members from a limited group of individuals, a `family', and should distinguish between them. At the same time, the network must produce an alarm to an image of an individual who is not in a member of the family. To produce such a network, we propose a shallowing algorithm. The algorithm takes an existing deep learning model on its input and outputs a shallowed version of it. The algorithm is non-iterative and is based on the Advanced Supervised Principal Component Analysis. Performance of the algorithm is assessed in exhaustive numerical experiments. In the above usecase, the `backyard dog' problem, the method is capable of drastically reducing the depth of deep learning neural networks, albeit at the cost of mild performance deterioration. We developed a simple non-iterative method for shallowing down pre-trained deep networks. The method is generic in the sense that it applies to a broad class of feed-forward networks, and is based on the Advanced Supervise Principal Component Analysis. The method enables generation of families of smaller-size shallower specialized networks tuned for specific operational conditions and tasks from a single larger and more universal legacy network.

연구 동기 및 목표

• 라즈베리 파이와 같은 자원이 제한된 장치에 큰 사전 훈련된 깊은 신경망을 구현하는 데 도전하는 것.
• 반복적인 재훈련 없이 네트워크 깊이를 줄이는 방법을 개발하여 전문화된 작업에 기능을 유지하는 것.
• 단일 레거시 모델에서 특정 운영 조건에 맞게 최적화된 더 작은, 더 빠르고 더 효율적인 네트워크의 가족을 생성하는 것.
• 실제로 제약 조건이 있는 얼굴 인식 작업—'뒷마당 개' 문제—에서 얕은 네트워크의 성능을 평가하는 것.
• 감소된 깊이의 네트워크가 실질적인 정확도를 유지하면서 추론 시간과 계산 비용을 크게 낮출 수 있는지 보여주는 것.

제안 방법

• 방법은 사전 훈련된 CNN의 각 레이어에서 고차원 특징을 낮은 차원의 공간으로 투영하기 위해 고도화된 감독 주성분 분석(ASPCA)을 사용한다.
• ASPCA는 반복적이지 않은 방식으로 계층별로 적용되며, 목표 작업과 관련된 클래스 구분 정보를 유지한다.
• 알고리즘은 목표 데이터셋에서 분류 성능을 최대화하는 ASPC(고도화된 감독 주성분)의 부분 집합을 선택한다.
• 이 과정은 원래 네트워크의 모든 레이어에 체계적으로 적용되어 깊은 아키텍처를 얕은 것으로 변환한다.
• 결과로 도출된 얕은 네트워크는 최종 분류 레이어에서만 미세 조정되며, 재훈련 오버헤드를 최소화한다.
• 오류율의 합인 오류 매칭(MF)과 오류 오픈(MO) 비율을 최소화하는 ASPC의 수와 정규화 파라미터 α를 선택함으로써 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 특정 제약 조건이 있는 인식 작업에 대해 충분한 정확도를 유지하면서 깊은 사전 훈련된 CNN을 효과적으로 깊이를 줄일 수 있는가?
• RQ2 저전력 하드웨어에서 얕은 네트워크의 오류율과 추론 속도 측면에서 원본 깊은 모델과 비교해 성능가 어떻게 되는가?
• RQ3 감소된 네트워크에서 분류 오류를 최소화하는 데 최적의 ASPC 수와 정규화 파라미터 α는 무엇인가?
• RQ4 제한된 데이터로 훈련하고 엣지 장치에 배포했을 때 얕은 네트워크가 얼마나 기능을 유지할 수 있는가?
• RQ5 제안된 방법이 재훈련 없이 단일 통합 레거시 모델에서 전문화된 효율적인 네트워크의 가족을 생성할 수 있는가?

주요 결과

• 64×64 이미지를 처리하는 5층 '뒷마당 개' 네트워크에 60개의 ASPC를 사용한 결과, 라즈베리 파이 3B에서 0.70초 내에 처리되었으며, 평균 MF+MO 오류율은 5.78%를 기록했다.
• 70개의 ASPC를 사용한 17층 네트워크는 평균 MF+MO 오류율 3.27%를 기록했으며, 100번의 테스트에서 최대 오류율은 평균보다 1.8배 높았다.
• 최적의 ASPC 선택(60개)을 적용한 5층 네트워크는 평균 MF+MO 오류율 8.53%와 최악의 경우 10.22%를 기록했다.
• 이 방법은 저성능 하드웨어에서 실시간 추론을 가능하게 했다: 5층 모델은 라즈베리 파이의 단일 코어에서 이미지당 1초 이내로 실행되었다.
• 반복적이지 않은 ASPCA 기반 접근법은 네트워크 깊이를 줄이면서도 합리적인 성능을 유지하여 엣지 배포의 가능성을 입증했다.
• 이 방법은 모바일넷과 스위프넷과 같은 다른 아키텍처에도 일반적으로 적용 가능할 수 있으나, 본 연구에서는 이를 테스트하지 않았다.