[논문 리뷰] GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond

Yue Cao, Jiarui Xu외 3명|arXiv (Cornell University)|2019. 04. 25.

Advanced Neural Network Applications참고 문헌 42인용 수 213

한 줄 요약

GCNet은 간단한 글로벌 컨텍스트 블록을 도입하여 간소화된 비로컬 및 SE 블록을 3단계 프레임워크로 통합하고, 긴 범위 의존성 모델링을 향상시키며 객체 탐지/세그먼테이션, 이미지 분류, 액션 인식에서 최소 FLOP 오버헤드로 성능을 개선합니다.

ABSTRACT

The Non-Local Network (NLNet) presents a pioneering approach for capturing long-range dependencies, via aggregating query-specific global context to each query position. However, through a rigorous empirical analysis, we have found that the global contexts modeled by non-local network are almost the same for different query positions within an image. In this paper, we take advantage of this finding to create a simplified network based on a query-independent formulation, which maintains the accuracy of NLNet but with significantly less computation. We further observe that this simplified design shares similar structure with Squeeze-Excitation Network (SENet). Hence we unify them into a three-step general framework for global context modeling. Within the general framework, we design a better instantiation, called the global context (GC) block, which is lightweight and can effectively model the global context. The lightweight property allows us to apply it for multiple layers in a backbone network to construct a global context network (GCNet), which generally outperforms both simplified NLNet and SENet on major benchmarks for various recognition tasks. The code and configurations are released at https://github.com/xvjiarui/GCNet.

연구 동기 및 목표

• CNN에서 긴 범위 의존성 모델링의 동기와 계산 비용을 이해하고자 한다.
• 간소화된 비로컬 및 SE 접근법을 일반적 글로벌 컨텍스트 모델링 프레임워크로 통합한다.
• 글로벌 컨텍스트를 효율적으로 포착하고 백본 네트워크에 통합될 수 있는 경량의 GC 블록을 설계한다.
• ablation 및 백본 실험을 통해 COCO 객체 탐지/세그먼테이션, ImageNet 분류, Kinetics 동작 인식에서 GCNet를 실험적으로 검증한다.

제안 방법

• NLNet의 쿼리 위치 간 쿼리별 주의 맵이 거의 동일하다는 점을 관찰하여 쿼리 독립적 글로벌 컨텍스트 접근법의 필요성을 느낀다.
• 매 쿼리 위치에 대해 공유 글로벌 주의 맵을 사용하고 매개변수를 줄이기 위한 보틀넥 변환을 적용하여 NL 블록을 단순화한다( GC 설계).
• (a) 주의 풀링을 통한 글로벌 컨텍스트 모델링; (b) 특징 변환(보틀넥); (c) 모든 위치에 대한 덧셈 기반 융합의 3단계 글로벌 컨텍스트 모델링 프레임워크로 추상화한다.
• 이 프레임워크의 구체적 구현으로 GC 블록을 제안하여 효율적인 글로벌 어텐션 풀링과 보틀넥 변환 및 덧셈 기반 융합을 결합한다.
• GCBlock이 ResNet/ResNeXt 백본의 여러 층에 최소 FLOPs 증가로 삽입될 수 있음을 보여준다( GCNet 백본).
• 표준 비전 태스크에서 NLNet 및 SENet과 비교하여 효율성과 정확도의 트레이드오프를 입증한다.

실험 결과

연구 질문

• RQ1 쿼리 독립적 글로벌 컨텍스트가 계산을 크게 줄이면서도 쿼리별 NL 주의와 유사한 유용성을 제공할 수 있는가?
• RQ2 GC 블록이 다양한 백본과 태스크에서 정확도 증가 및 매개변수/FLOP 비용 측면에서 NL 및 SE 블록과 얼마나 비교되는가?
• RQ3 어떤 아키텍처 선택(컨텍스트 모델링, 변환, 융합)이 계산을 가볍게 유지하면서 성능을 최대화하는가?
• RQ4 GCNet이 백본의 여러 단계(c3, c4, c5 등) 및 다양한 데이터셋/태스크(COCO, ImageNet, Kinetics)에 적용될 때 이점이 있는가?

주요 결과

블록 설계	AP^bbox	AP^bbox_50	AP^bbox_75	AP^mask	AP^mask_50	AP^mask_75	#param	FLOPs
기준	37.2	59.0	40.1	33.8	55.4	35.9	44.4M	279.4G
+1 NL	38.0	59.8	41.0	34.7	56.7	36.6	46.5M	288.7G
+1 SNL	38.1	60.0	41.6	35.0	56.9	37.0	45.4M	279.4G
+1 GC	38.1	60.0	41.2	34.9	56.5	37.2	44.5M	279.4G
+all GC	39.4	61.6	42.4	35.7	58.4	37.6	46.9M	279.6G

• GCNet은 NLNet 및 SENet보다 비슷하거나 약간 더 높은 FLOPs로 주요 벤치마크에서 일관되게 더 나은 성능을 보이며, 박스와 마스크의 AP가 약 1.5–1.9 포인트 개선된다.
• GCNet은 COCO 객체 탐지/세그먼테이션에서 상대적 FLOP 증가가 약 0.07%인 가운데도 AP^bbox 및 AP^mask에서 유의미한 정확도를 얻는다.
• GCNet은 ImageNet 분류에서 약 0.8% 상위-1 정확도, Kinetics 동작 인식에서 약 1.1% 상위-1 정확도 향상을 최소의 계산 오버헤드로 달성한다.
• GC 블록은 여러 층(c3+c4+c5)에 삽입되도록 하여 매개변수/계산 증가가 완만하게 나타난다(예: ResNet-50에서 약 2.5M 추가 매개변수 및 약 0.26% FLOP 증가).
• 아블레이션 연구는 덧셈 융합과 보틀넥 변환에 레이어 정규화가 강력한 성능을 제공하며, 글로벌 어텐션 풀링은 융합 선택만큼은 중요하지 않지만 효과적임을 보여준다.