[논문 리뷰] Graph-Based Global Reasoning Networks

Yunpeng Chen, Marcus Rohrbach외 4명|arXiv (Cornell University)|2018. 11. 30.

Human Pose and Action Recognition참고 문헌 32인용 수 16

한 줄 요약

이 논문은 전역 상호작용 공간을 통해 그래프 컨볼루션을 이용한 효율적인 전역 관계 추론을 가능하게 하는 경량이며 미분 가능한 모듈인 글로벌 린킹 유닛(GloRe)을 제안한다. 이는 계산 비용을 크게 증가시키지 않으면서도 2D 및 3D 네트워크에서 이미지 분류, 세분화, 비디오 동작 인식 등 다양한 작업에서 최신 기술 수준의 모델을 일관되게 향상시킨다.

ABSTRACT

Globally modeling and reasoning over relations between regions can be beneficial for many computer vision tasks on both images and videos. Convolutional Neural Networks (CNNs) excel at modeling local relations by convolution operations, but they are typically inefficient at capturing global relations between distant regions and require stacking multiple convolution layers. In this work, we propose a new approach for reasoning globally in which a set of features are globally aggregated over the coordinate space and then projected to an interaction space where relational reasoning can be efficiently computed. After reasoning, relation-aware features are distributed back to the original coordinate space for down-stream tasks. We further present a highly efficient instantiation of the proposed approach and introduce the Global Reasoning unit (GloRe unit) that implements the coordinate-interaction space mapping by weighted global pooling and weighted broadcasting, and the relation reasoning via graph convolution on a small graph in interaction space. The proposed GloRe unit is lightweight, end-to-end trainable and can be easily plugged into existing CNNs for a wide range of tasks. Extensive experiments show our GloRe unit can consistently boost the performance of state-of-the-art backbone architectures, including ResNet, ResNeXt, SE-Net and DPN, for both 2D and 3D CNNs, on image classification, semantic segmentation and video action recognition task.

연구 동기 및 목표

• 특징 맵에서 떨어진 곳이나 비정형적인 모양을 가진 영역 간의 장거리 전역 관계를 CNN이 효과적으로 포착하지 못하는 한계를 해결하기 위해.
• 깊은 컨볼루션 레이어 스택에 의존하지 않고, 네트워크의 초기 단계에서 효율적이고 종단 간 훈련이 가능한 전역 추론을 가능하게 하기 위해.
• 기존 CNN 아키텍처에 큰 수정 없이 쉽게 통합할 수 있는 경량 모듈을 설계하기 위해.
• 2D 및 3D 네트워크에서 이미지 분류, 세분화, 비디오 동작 인식 등 다양한 비전 작업에서 성능 향상을 이루기 위해.

제안 방법

• 공간 영역의 특징들이 가중치가 부여된 전역 풀링을 통해 상호작용 공간 내의 노드 임베딩 집합으로 전역적으로 요약된다.
• 상호작용 공간 내에서 완전히 연결된 그래프가 구성되며, 각 노드는 전역 또는 국소 패턴을 캡처하는 풀링된 특징 기술자로 표현된다.
• 노드 특징 간의 관계를 모델링하기 위해 상호작용 그래프에서 그래프 컨볼루션 네트워크(GCNs)를 사용하여 관계 추론을 수행한다.
• 업데이트된 관계 인식 특징들이 가중치가 부여된 브로드캐스팅을 통해 원래 좌표 공간으로 다시 투영되어 후속 작업에 사용된다.
• 전체 과정이 미분 가능하고 종단 간 훈련이 가능하여 특징 요약, 상호작용, 재구성의 공동 최적화가 가능하다.
• GloRe 유닛은 플러그 앤 플레이 방식으로 설계되어 ResNet, ResNeXt, SE-Net, DPN 등의 다양한 백본과 호환된다.

실험 결과

연구 질문

• RQ1 멀리 떨어져 있거나 비정형적인 모양을 가진 영역 간의 전역 관계 추론을 전용 상호작용 공간에서 효율적으로 수행할 수 있는가?
• RQ2 전역 추론을 어떻게 경량화하고 기존 CNN 아키텍처와 호환 가능하게 만들 수 있는가?
• RQ3 그래프 컨볼루션을 활용한 학습 가능한 상호작용 공간 도입이 기존 CNN 또는 기존 전역 모델링 방법에 비해 비전 작업 성능 향상에 기여하는가?
• RQ4 제안된 방법이 이미지 분류, 세분화, 비디오 동작 인식 등 다양한 작업에 일반화 가능한가?

주요 결과

• ResNet-50 기반으로 ImageNet-1K 분류에서 상위-1 정확도를 0.90% 향상시켜 75.12%의 성능을 달성했으며, Kinetics-400 비디오 동작 인식에서 76.09%의 비디오 수준 상위-1 정확도를 기록했다.
• Kinetics-400에서 ResNet-101(3D) 기반의 GloRe는 기존 최고 성능 기록인 NL-Net을 0.40% 초월하는 76.09%의 비디오 수준 상위-1 정확도를 달성했다.
• 2D 및 3D 네트워크에서 ResNet, ResNeXt, SE-Net, DPN 등 다양한 백본에서 일관되게 성능 향상을 이룬다.
• 시각화 결과는 학습된 투영 가중치가 에지, 눈, 콧수염 등 다양한 의미 있는 패턴에 집중하고 있음을 보여주며, 모델이 구분 가능한 전역 구조를 효과적으로 포착할 수 있음을 입증한다.
• ResNet-50(3D) 기준으로 FLOP 오버헤드가 매우 작아 28.9G FLOPs 이며, 높은 정확도 향상 성능을 제공함으로써 효율성과 확장성의 우수함을 입증한다.