[논문 리뷰] Lite-HRNet: A Lightweight High-Resolution Network

Changqian Yu, Bin Xiao외 5명|arXiv (Cornell University)|2021. 04. 13.

Human Pose and Action Recognition참고 문헌 59인용 수 11

한 줄 요약

Lite-HRNet는 인간 자세 추정 및 세분화 작업을 위한 경량 고해상도 네트워크로, 셔플 블록 내에서 계산 비용이 높은 1×1 컨볼루션을 조건부 채널 가중치 단위로 대체한다. 이 효율적인 메커니즘은 선형 복잡도를 가지며 채널 간 및 해상도 간 특징 융합을 가능하게 하여 COCO 및 MPII 벤치마크에서 최신 기술 수준의 정확도-효율성 트레이드오프를 달성한다. Lite-HRNet-30은 단지 3.02 GFLOPs의 연산량으로 Cityscapes에서 75.3% mIoU를 달성한다.

ABSTRACT

We present an efficient high-resolution network, Lite-HRNet, for human pose estimation. We start by simply applying the efficient shuffle block in ShuffleNet to HRNet (high-resolution network), yielding stronger performance over popular lightweight networks, such as MobileNet, ShuffleNet, and Small HRNet. We find that the heavily-used pointwise (1x1) convolutions in shuffle blocks become the computational bottleneck. We introduce a lightweight unit, conditional channel weighting, to replace costly pointwise (1x1) convolutions in shuffle blocks. The complexity of channel weighting is linear w.r.t the number of channels and lower than the quadratic time complexity for pointwise convolutions. Our solution learns the weights from all the channels and over multiple resolutions that are readily available in the parallel branches in HRNet. It uses the weights as the bridge to exchange information across channels and resolutions, compensating the role played by the pointwise (1x1) convolution. Lite-HRNet demonstrates superior results on human pose estimation over popular lightweight networks. Moreover, Lite-HRNet can be easily applied to semantic segmentation task in the same lightweight manner. The code and models have been publicly available at https://github.com/HRNet/Lite-HRNet.

연구 동기 및 목표

• 계산 자원 제약 조건 하에서도 높은 성능을 유지하는 경량 고해상도 네트워크를 개발하는 것.
• 경량 네트워크 내 셔플 블록에서 발생하는 포인트와이즈(1×1) 컨볼루션의 계산 병목 현상을 해결하는 것.
• 효과적인 채널 간 및 해상도 간 특징 교환을 가능하게 하는 1×1 컨볼루션의 효율적인 대체 수단을 설계하는 것.
• 인간 자세 추정 및 세분화 작업에서 뛰어난 정확도-효율성 트레이드오프를 달성하는 것.
• 아키텍처 재설계 없이도 제안된 아키텍처를 후행 작업에 일반화하는 것.

제안 방법

• 다중 해상도에서 입력 특징을 기반으로 채널 가중치를 계산하는 조건부 채널 가중치 단위를 도입하여 고비용 1×1 컨볼루션을 대체한다.
• 채널 수에 대해 선형 복잡도를 가지는 경량 네트워크 모듈을 통해 채널 가중치를 계산함으로써, 이차적 1×1 컨볼루션 대비 계산 비용을 감소시킨다.
• HRNet의 병렬 브랜치에서 유도된 다중 해상도 특징을 활용하여 가중치 계산에 사용되는 정보를 풍부하게 한다.
• 공간적 및 해상도 간 가중치 부여 메커니즘을 도입하여 특징 표현을 향상시키면서도 FLOP 증가를 최소화한다.
• 입력 특징에 조건부로 동적 가중치를 계산할 수 있는 단순하고 학습 가능한 모듈을 사용하여 적응형 특징 융합을 가능하게 한다.
• 최소한의 수정으로 인간 자세 추정 및 세분화 작업에 이 아키텍처를 적용한다.

Figure 2: Illustration of the Small HRNet architecture. It consists of a high-resolution stem as the first stage, gradually adding high-to-low resolution streams as the main body. The main body has a sequence of stages, each containing parallel multi-resolution streams and repeated multi-resolution

실험 결과

연구 질문

• RQ1 HRNet에 셔플 블록을 통합함으로써 기존의 MobileNet 및 ShuffleNet과 같은 모델보다 더 효율적이고 정확한 경량 네트워크를 얻을 수 있는가?
• RQ2 셔플 블록 내 1×1 컨볼루션을 조건부 채널 가중치 단위로 대체함으로써 계산 비용을 감소시키면서도 특징 표현을 유지하거나 향상시킬 수 있는가?
• RQ3 가중치 계산 과정에서 다중 해상도 특징을 사용할 경우 모델 성능과 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 Lite-HRNet 아키텍처는 비교적 높은 효율성과 정확도를 유지하면서도 세분화 작업에 효과적으로 일반화될 수 있는가?
• RQ5 네트워크 깊이를 증가시키거나 해상도 간 가중치를 사용할 경우 계산 복잡도와 성능 향상 간의 트레이드오프는 어떻게 되는가?

주요 결과

• Lite-HRNet는 단지 3.02 GFLOPs의 연산량으로 Cityscapes 세분화 작업에서 75.3% mIoU를 달성하여 수작업 설계 및 NAS 기반 모델을 초월한다.
• Lite-HRNet-18는 1.95 GFLOPs의 연산량으로 Cityscapes에서 72.8% mIoU를 기록하여 BiSeNetV1-B 및 DFANet A’와 같은 모델을 뛰어넘는다.
• 조건부 채널 가중치 단위는 표준 1×1 컨볼루션 대비 셔플 블록의 계산 복잡도를 80% 감소시킨다.
• 공간적 및 해상도 간 가중치 부여를 추가함으로써 COCO AP가 3.5점 향상되었고, FLOP 증가량은 16M에 불과하다.
• 네트워크 깊이를 증가시킴으로써 AP가 1.5점 향상되었으며, 넓이 버전과 유사한 FLOPs를 유지함으로써 능력 효율성이 향상됨을 보여준다.
• SwiftNetRN-18(104 GFLOPs)와 비교해도 유사한 성능을 달성하면서도 단지 3.02 GFLOPs의 연산량을 사용한다.