[논문 리뷰] OnionNet: Sharing Features in Cascaded Deep Classifiers

Martin Simonovsky, Nikos Komodakis|arXiv (Cornell University)|2016. 08. 09.

Advanced Neural Network Applications참고 문헌 24인용 수 2

한 줄 요약

OnionNet는 검색 작업의 추론을 가속화하기 위해 단계 간 중간 특징 맵을 공유하는 계단식 딥러닝 아키텍처를 제안한다. 이후 단계가 이전 특징의 깊이와 너비를 모두 확장하면서도 계산된 표현을 재사용함으로써, 단일 구조 및 공유가 없는 계단식 아키텍처에 비해 정밀도 손실이 미미한 수준에서 상당한 속도 향상을 달성한다.

ABSTRACT

The focus of our work is speeding up evaluation of deep neural networks in retrieval scenarios, where conventional architectures may spend too much time on negative examples. We propose to replace a monolithic network with our novel cascade of feature-sharing deep classifiers, called OnionNet, where subsequent stages may add both new layers as well as new feature channels to the previous ones. Importantly, intermediate feature maps are shared among classifiers, preventing them from the necessity of being recomputed. To accomplish this, the model is trained end-to-end in a principled way under a joint loss. We validate our approach in theory and on a synthetic benchmark. As a result demonstrated in three applications (patch matching, object detection, and image retrieval), our cascade can operate significantly faster than both monolithic networks and traditional cascades without sharing at the cost of marginal decrease in precision.

연구 동기 및 목표

• 검색 시나리오에서 음성 예외에 대한 딥 네URAL 네트워크 평가의 높은 계산 비용을 해결하기 위해.
• 다시 계산하는 대신 계단식 단계 간 중간 특징 맵을 재사용하여 추론 시간을 단축하기 위해.
• 후속 단계가 이전 단계의 특징에 새로운 레이어와 새로운 특징 채널을 추가할 수 있도록 하는 유연한 아키텍처 설계를 가능하게 하기 위해.
• 모든 단계의 최적의 특징 공유와 성능를 보장하기 위해 통합 손실 함수를 사용해 전체 계단식 구조를 엔드 투 엔드로 훈련하기 위해.
• 특징 공유 계단식 아키텍처가 정밀도의 최소한의 희생으로 단일 네트워크 및 공유가 없는 계단식 아키텍처를 초월할 수 있음을 입증하기 위해.

제안 방법

• 각 단계가 이전 단계의 특징 맵 세트를 확장하도록 계단식 아키텍처를 설계하여 중간 표현을 재사용할 수 있도록 하기 위해.
• 후속 단계가 이전 특징에 새로운 합성곱 레이어와 추가적인 특징 채널을 추가할 수 있도록 하여 깊이 및 너비 확장을 가능하게 하기 위해.
• 특징 맵을 단계 간에 공유하여 특히 비용이 많이 드는 초기 레이어에서의 중복 계산을 방지하기 위해.
• 모든 단계를 동시에 최적화하고 표현 일관성을 유지하기 위해 통합 손실 함수를 사용해 전체 모델을 엔드 투 엔드로 훈련하기 위해.
• 양성 예외 비율이 다양할 때 이론적 행동을 분석하고 검증하기 위해 합성 벤치마크를 사용하기 위해.
• 실세계 작업인 패치 매칭, 객체 검출 및 이미지 검색에서 평가하여 실용적인 속도 향상을 입증하기 위해.

실험 결과

연구 질문

• RQ1 계단식 딥 분류기 간의 특징 공유가 정밀도를 손상시키지 않고 추론 시간을 크게 줄일 수 있는가?
• RQ2 양성 예외 비율이 다양할 때 OnionNet의 계산 비용이 단일 네트워크 및 공유가 없는 계단식 아키텍처와 비교해 어떻게 되는가?
• RQ3 후속 단계에서 레이어와 채널을 추가함으로써 얻는 아키텍처의 민첩성이 효율성과 성능 향상에 얼마나 기여하는가?
• RQ4 모델 파라미터 감소와 특징 재사용이 속도와 정밀도의 상호 교환 관계에 어떤 영향을 미치는가?
• RQ5 실세계 배포에서 이론적 속도 향상 예측에 영향을 미치는 실질적인 GPU 실행 오버헤드는 어떠한가?

주요 결과

• OnionNet는 패치 매칭, 객체 검출 및 이미지 검색 작업에서 단일 네트워크 및 공유가 없는 계단식 아키텍처에 비해 상당한 속도 향상을 보이며 정밀도 저하가 최소한이다.
• 이론적 분석에 따르면 OnionNet는 모든 양성 예외 비율(p)에서 시간 비용을 지속적으로 감소시키며, 첫 번째 단계가 넓을 경우(예: RW3 대 RW1) 가장 큰 성과를 보인다.
• 실제 실행 시간 결과는 이론적 경향을 확인하지만, GPU 커널 실행 오버헤드와 비선형 GPU 성능 특성으로 인해 작은 또는 약한 첫 번째 단계 네트워크에서는 성능 향상이 감소할 수 있다.
• 공유가 없는 계단식 아키텍처는 양성 예외 비율(p)이 낮을 때에만 단일 모델을 능가하지만, OnionNet는 특징 재사용과 파라미터 감소 덕분에 모든 p 값에서 우월함을 유지한다.
• 첫 번째 단계 네트워크가 상대적으로 넓을 경우에 가장 효과적이며, 이는 공유 계산과 중복 제거의 이점에서 가장 크게 유리하기 때문이다.
• 이중 단계 계단식 아키텍처는 실용적이고 효과적이지만, 두 번 이상의 단계는 오버헤드 증가와 수익 감소로 인해 실용적이지 않음을 입증했다.