[논문 리뷰] Parsimonious Inference on Convolutional Neural Networks: Learning and applying on-line kernel activation rules

Ilias Theodorakopoulos, Vasileios K. Pothos외 2명|arXiv (Cornell University)|2017. 01. 18.

Advanced Neural Network Applications참고 문헌 3인용 수 7

한 줄 요약

이 논문은 추론 중에 동적으로 실시간으로 합성곱 신경망(CNN) 커널을 정제할 수 있는 새로운 데이터 기반 방법을 제안한다. 이는 정확도를 훼손하지 않은 채 계산 부하를 크게 줄인다. 실시간으로 불필요한 필터를 선택적으로 비활성화하는 학습 가능한 활성화 규칙을 도입함으로써, 이 방법은 모바일 플랫폼에서 최대 3배의 속도 향상을 달성하면서도 인식 성능을 유지하거나 향상시킨다.

ABSTRACT

A new, radical CNN design approach is presented in this paper, considering the reduction of the total computational load during inference. This is achieved by a new holistic intervention on both the CNN architecture and the training procedure, which targets to the parsimonious inference by learning to exploit or remove the redundant capacity of a CNN architecture. This is accomplished, by the introduction of a new structural element that can be inserted as an add-on to any contemporary CNN architecture, whilst preserving or even improving its recognition accuracy. Our approach formulates a systematic and data-driven method for developing CNNs that are trained to eventually change size and form in real-time during inference, targeting to the smaller possible computational footprint. Results are provided for the optimal implementation on a few modern, high-end mobile computing platforms indicating a significant speed-up of up to x3 times.

연구 동기 및 목표

• 자원이 제한된 환경, 예를 들어 모바일 기기에서 CNN 추론의 계산 부담을 줄이기 위해.
• 모든 레이어에서 동일하게 기능하는 고정된, 완전히 활성화된 CNN의 비효율성을 해결하기 위해.
• 입력 데이터에 기반하여 추론 중에 실시간으로 적응형 네트워크 정제를 가능하게 하는 방법을 개발하기 위해.
• 계산량을 극적으로 줄이면서도 정확도를 유지하거나 향상시키기 위해.
• 동적 아키텍처 조정을 통해 고정확도 CNN을 저전력 모바일 플랫폼에 실용적으로 구현하기 위해.

제안 방법

• 추론 중에 합성곱 레이어의 필터를 동적으로 비활성화하는 입력에 의존하는 학습 가능한 활성화 규칙을 도입한다.
• 기존 CNN 아키텍처에 경량 게이팅 메커니즘을 추가로 통합함으로써 원래 네트워크 구조를 유지한다.
• 기울기 기반 최적화를 가능하게 하기 위해, 게이팅 메커니즘을 CNN과 함께 엔드 투 엔드로 훈련하며, 미분 가능한 근사치를 사용한다.
• 학습된 활성화 규칙을 추론 시 적용하여, 네트워크가 입력에 따라 '수축'하도록 하여 FLOPs와 메모리 액세스를 줄인다.
• 스팸성(sparsity)을 장려하고 게이팅 메커니즘의 과적합을 방지하기 위해 구조적 정규화 전략을 사용한다.
• 스parse 추론 과정을 통해 역전파를 허용하기 위해 하드 스위칭 연산의 미분 가능한 리프레젠테이션을 활용한다.

실험 결과

연구 질문

• RQ1 CNN은 입력 특성에 따라 추론 중에 계산 부하를 동적으로 조정할 수 있는가?
• RQ2 정확도를 훼손하지 않고 실시간으로 불필요한 필터를 식별하고 제거할 수 있는가?
• RQ3 모바일 플랫폼에서 정확도 손실를 최소화하면서도 얻을 수 있는 최대 계산 감소 비율은 얼마인가?
• RQ4 아키텍처 재설계 없이도 엔드 투 엔드로 학습 가능한 게이팅 메커니즘이 커널 활성화를 제어할 수 있는가?
• RQ5 모바일 배포 환경에서 동적 추론은 추론 속도와 에너지 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 고성능 모바일 플랫폼에서 최대 3배의 속도 향상을 달성하면서도 상위-1 정확도를 유지하거나 향상시킨다.
• 입력 기반의 상당한 필터 정제에도 불구하고, 벤치마크 데이터셋에서 정확도를 유지하거나 향상시킨다.
• 이 방법은 기존의 어떤 CNN 아키텍처와도 호환되며, 경량 추가 모듈만 필요로 한다.
• 학습된 활성화 규칙은 입력에 따라 달라지므로, 입력 복잡도에 맞게 적응형 계산이 가능하다.
• FLOPs와 메모리 대역폭 사용량이 감소하여, 모바일 기기에서 에너지 소비가 낮아진다.
• 다양한 네트워크 아키텍처와 데이터셋에서 뛰어난 견고성과 일관된 성능 향상을 보였다.