[논문 리뷰] Glance and Focus Networks for Dynamic Visual Recognition

Gao Huang, Yulin Wang외 5명|arXiv (Cornell University)|2022. 01. 09.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 인간의 시각적 주의를 모방하기 위해 먼저 저해상도 전경 특징( glance )을 처리한 후 강화학습 기반 영역 제안 메커니즘을 통해 분류에 기여하는 이미지 패치( focus )에 적응적으로 집중하는 동적 추론 프레임워크인 Glance 및 Focus 네트워크(GFNet)를 제안한다. 이 방법은 정확도를 유지하면서 MobileNet-V3에서 최대 1.3배의 계산 비용 절감을 이룩하여 고해상도 이미지 및 영상에서 효율적이고 적응적인 추론을 가능하게 한다.

ABSTRACT

Spatial redundancy widely exists in visual recognition tasks, i.e., discriminative features in an image or video frame usually correspond to only a subset of pixels, while the remaining regions are irrelevant to the task at hand. Therefore, static models which process all the pixels with an equal amount of computation result in considerable redundancy in terms of time and space consumption. In this paper, we formulate the image recognition problem as a sequential coarse-to-fine feature learning process, mimicking the human visual system. Specifically, the proposed Glance and Focus Network (GFNet) first extracts a quick global representation of the input image at a low resolution scale, and then strategically attends to a series of salient (small) regions to learn finer features. The sequential process naturally facilitates adaptive inference at test time, as it can be terminated once the model is sufficiently confident about its prediction, avoiding further redundant computation. It is worth noting that the problem of locating discriminant regions in our model is formulated as a reinforcement learning task, thus requiring no additional manual annotations other than classification labels. GFNet is general and flexible as it is compatible with any off-the-shelf backbone models (such as MobileNets, EfficientNets and TSM), which can be conveniently deployed as the feature extractor. Extensive experiments on a variety of image classification and video recognition tasks and with various backbone models demonstrate the remarkable efficiency of our method. For example, it reduces the average latency of the highly efficient MobileNet-V3 on an iPhone XS Max by 1.3x without sacrificing accuracy. Code and pre-trained models are available at https://github.com/blackfeather-wang/GFNet-Pytorch.

연구 동기 및 목표

• 고해상도 시각 인식에서 대부분의 픽셀이 분류에 기여하지 않는 공간적 부중복 문제를 해결하기 위해.
• 예측 신뢰도가 충분할 경우 조기에 종료되는 적응적 추론을 가능하게 하여 입력당 계산량을 줄이기 위해.
• 인간의 레이블 없이 분류 레이블만을 사용하여 분류에 기여하는 이미지 영역을 국소화하기 위해.
• MobileNet 및 EfficientNet와 같은 효율적인 모델과 호환되는 일반적이고 백본에 종속되지 않는 프레임워크를 설계하기 위해.
• 정확도를 희생시키지 않고 에지 디바이스에서 높은 효율성을 달성하기 위해.

제안 방법

• 모델은 이중 단계 프로세스를 사용한다: 입력 이미지의 저해상도(예: 96×96) 버전을 처리하여 初기 전역 예측을 생성하는 '눈치보기' 단계.
• 신뢰도가 충분하지 않으면 강화학습 에이전트가 고해상도 패치(집중 단계)를 제안하여 추가 처리를 수행한다.
• 영역 제안 네트워크(π)는 두 개의 인코더에서 유도된 깊은 특징을 바탕으로 주목할 만하고 클래스에 구분력을 갖는 영역을 선택하도록 정책 기반 강화학습으로 훈련된다.
• 각 추론 단계는 점점 더 작은 입력을 사용하며, 신뢰도가 임계값을 초과하면 조기에 종료된다.
• 이 프레임워크는 어떤 공개 백본(예: MobileNet, EfficientNet, TSM)과도 호환되며 아키텍처 변경이 필요하지 않다.
• 훈련 과정은 다단계로 구성되며, 분류 정확도와 정책 학습을 균형 잡는 손실 함수를 포함한다.

실험 결과

연구 질문

• RQ1 정확도를 잃지 않고 고해상도 시각 인식에서 계산 비용을 줄일 수 있는 동적이고 순차적인 추론 프레임워크는 가능한가?
• RQ2 경계 상자나 세그멘테이션 레이블 없이 분류 레이블만으로 효과적으로 분류에 기여하는 이미지 영역을 국소화할 수 있는가?
• RQ3 다양한 백본에서 '눈치보기 및 집중' 메커니즘이 정적 모델 대비 지연 시간과 정확도 측면에서 어떻게 비교되는가?
• RQ4 적응적 시각 인식에서 모델 복잡도와 추론 효율성 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 이 방법은 다양한 시각 작업과 백본 아키텍처로 일반화될 수 있는가?

주요 결과

• GFNet는 iPhone XS Max에서 MobileNet-V3의 평균 추론 지연을 1.3배 감소시켰으며 정확도에 영향을 주지 않았다.
• 눈치보기 단계만으로도 높은 신뢰도로 많은 이미지를 올바르게 분류함으로써 군집에서 세분화 전략의 타당성이 입증되었다.
• 매우 적은 파라미터와 GRU 유닛을 가진 경량 패치 제안 네트워크가 더 복잡한 설계와도 유사한 성능을 달성했다.
• 신뢰도 기반의 조기 종료 기준이 무작위 종료 및 엔트로피 기반 기준보다 정확도와 효율성 측면에서 뛰어난 성능을 보였다.
• 이 방법은 ResNet-50, MobileNet-V3, EfficientNet를 포함한 다양한 백본에서 강력한 성능을 유지했다.
• λ와 60~90개의 훈련 에포크를 조정하면 포화된 성능에 도달할 수 있었으며, λ=1과 60 에포크는 강력한 베이스라인으로 기능했다.