[논문 리뷰] Quantized Densely Connected U-Nets for Efficient Landmark Localization

Zhiqiang Tang, Xi Peng외 4명|arXiv (Cornell University)|2018. 08. 07.

Face recognition and analysis참고 문헌 39인용 수 12

한 줄 요약

이 논문은 의미 수준의 밀집 연결을 통해 스택형 U-Net 간 전역 특징 재사용을 가능하게 함으로써 효율적인 시각적 랜드마크 국소화를 위한 양자화된 밀집 연결 U-Net(DU-Net)을 제안한다. 순서-K 연결, 메모리 효율적인 훈련, 반복 보정, 저비트 폭으로의 전방향 양자화를 통해 약 70% 적은 파라미터, 약 98% 더 작은 모델 크기, 약 75% 감소한 훈련 메모리 소비를 기록하면서도 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

In this paper, we propose quantized densely connected U-Nets for efficient visual landmark localization. The idea is that features of the same semantic meanings are globally reused across the stacked U-Nets. This dense connectivity largely improves the information flow, yielding improved localization accuracy. However, a vanilla dense design would suffer from critical efficiency issue in both training and testing. To solve this problem, we first propose order-K dense connectivity to trim off long-distance shortcuts; then, we use a memory-efficient implementation to significantly boost the training efficiency and investigate an iterative refinement that may slice the model size in half. Finally, to reduce the memory consumption and high precision operations both in training and testing, we further quantize weights, inputs, and gradients of our localization network to low bit-width numbers. We validate our approach in two tasks: human pose estimation and face alignment. The results show that our approach achieves state-of-the-art localization accuracy, but using ~70% fewer parameters, ~98% less model size and saving ~75% training memory compared with other benchmark localizers. The code is available at https://github.com/zhiqiangdon/CU-Net.

연구 동기 및 목표

• 랜드마크 국소화를 위한 스택형 U-Net 아키텍처에서 제한된 정보 흐름과 중복된 파라미터 사용 문제를 해결하기 위해.
• 같은 해상도의 블록 간 전역적이고 의미 수준의 연결을 통해 스택형 U-Net 간 특징 재사용을 향상시키기 위해.
• 파라미터 효율적인 설계와 양자화를 통해 정확도를 유지하면서 모델 크기와 훈련 메모리 소비를 줄이기 위해.
• 저비트 폭으로의 가중치, 입력 및 기울기 양자화를 통해 모바일 디바이스에서의 효율적인 훈련과 배포를 가능하게 하기 위해.
• 모델 크기를 반으로 줄이면서 성능을 유지하는 데에 반복 보정을 활용할 수 있는지 조사하기 위해.

제안 방법

• 파라미터 증가를 선형으로 줄이기 위해 순서-K 밀집 연결을 제안하여 연결을 오직 K개의 최신 U-Net에 국한한다.
• 모든 연결된 블록 간에 사전 할당된 메모리를 재사용함으로써 메모리 효율적인 훈련 전략을 구현하여 깊은 DU-Net 훈련을 가능하게 한다.
• 첫 번째 DU-Net 통과의 출력을 두 번째 통과의 입력으로 사용하고, 이에 대해 감독 학습을 적용하는 반복 보정 메커니즘을 도입하여 모델 크기를 반으로 줄인다.
• 가중치, 중간 특징 입력 및 기울기를 저비트 폭(예: 8비트 또는 이진)으로 양자화하여 메모리 및 계산 비용을 감소시킨다.
• BW-α 변형에서는 스케일링 인자와 이진화를 활용하여 모델을 추가로 압축하면서 정확도를 유지한다.
• 최신 기술 수준의 방법들과 비교하기 위해 인간 자세 추정 및 얼굴 정렬 벤치마크를 사용하여 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 스택형 U-Net 간 전역적 특징 재사용이 표준 스택형 U-Net 대비 랜드마크 국소화 정확도를 향상시킬 수 있는가?
• RQ2 순서-K 연결이 깊은 U-Net 아키텍처에서 정확도와 파라미터 효율성 간의 균형을 효과적으로 유지할 수 있는가?
• RQ3 메모리 효율적인 구현이 높은 연결성에도 불구하고 매우 깊은 DU-Net 모델의 훈련을 가능하게 하는가?
• RQ4 반복 보정이 성능을 유지하면서 모델 크기를 반으로 줄일 수 있는가?
• RQ5 가중치, 입력 및 기울기의 종단 간 양자화가 정확도에 큰 영향을 주지 않으면서 훈련 메모리 소비를 줄일 수 있는가?

주요 결과

• 제안된 DU-Net은 인간 자세 추정 및 얼굴 정렬 벤치마크에서 최신 기술 수준의 랜드마크 국소화 정확도를 달성한다.
• DU-Net-BW-α (16)는 300-W 데이터셋에서 최신 기술 수준의 방법 [23]과 유사한 성능을 보였지만, 모델 크기가 약 50배 작다.
• 최신 기술 수준의 국소화 기법 대비 약 70% 적은 파라미터와 약 98% 더 작은 모델 크기를 사용하면서도 약 75%의 훈련 메모리 소비를 절감한다.
• 순서-K 연결은 파라미터 증가를 O(n²)에서 O(n)으로 줄여 효율성을 크게 향상시킨다.
• 가중치, 입력 및 기울기의 양자화로 인해 정확도 저하가 최소한이 되는 조건에서 약 75%의 훈련 메모리 감소를 달성한다.
• 반복 보정 접근법은 LSP 및 300-W 평가에서 모두 모델 크기를 반으로 줄이면서도 높은 정확도를 유지하는 데 성공했다.