[논문 리뷰] Dynamic Graph Message Passing Networks

Li Zhang, Dan Xu외 2명|arXiv (Cornell University)|2019. 08. 19.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 시각 작업에서 효율적인 장거리 메시지 전파를 위해 관련 노드를 동적으로 샘플링하고, 위치 기반의 필터 가중치 및 유사도 행렬을 학습하는 새로운 방법인 동적 그래프 메시지 전파 네트워크(DGMN)를 제안한다. DGMN는 완전 연결 Non-local 네트워크의 9.4%의 FLOPs와 25.3%의 파라미터를 사용하면서도, 세분화, 객체 검출, 인스턴스 세분화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Modelling long-range dependencies is critical for scene understanding tasks in computer vision. Although CNNs have excelled in many vision tasks, they are still limited in capturing long-range structured relationships as they typically consist of layers of local kernels. A fully-connected graph is beneficial for such modelling, however, its computational overhead is prohibitive. We propose a dynamic graph message passing network, that significantly reduces the computational complexity compared to related works modelling a fully-connected graph. This is achieved by adaptively sampling nodes in the graph, conditioned on the input, for message passing. Based on the sampled nodes, we dynamically predict node-dependent filter weights and the affinity matrix for propagating information between them. Using this model, we show significant improvements with respect to strong, state-of-the-art baselines on three different tasks and backbone architectures. Our approach also outperforms fully-connected graphs while using substantially fewer floating-point operations and parameters. The project website is http://www.robots.ox.ac.uk/~lz/dgmn/

연구 동기 및 목표

• 장거리 상관관계를 포괄하는 장면 이해를 위한 완전 연결 그래프 모델의 높은 계산 비용 문제를 해결하기 위해.
• CNN의 고정된 국소 수신장과 GraphSAGE의 정적 샘플링으로 인한 제한점을 극복하여 장거리 맥락적 관계를 모델링하기 위해.
• 입력 기반 특징에 따라 관련 노드를 동적으로 선택하여 효율적이고 효과적인 메시지 전파를 가능하게 하기 위해.
• 동적 노드 샘플링, 적응형 필터 가중치, 유사도 행렬을 함께 최적화하여 표현 학습을 향상시키기 위해.
• 기존의 백본 네트워크에 최소한의 수정으로 DGMN 모듈를 통합하여 광범위한 적용 가능성을 확보하기 위해.

제안 방법

• 입력 기반의 노드 특징에 따라, 학습된 위치 기반의 랜덤 워크 메커니즘을 사용하여 특징 그래프에서 노드의 부분집합을 동적으로 샘플링한다.
• 샘플된 노드에 조건화된 노드 기반 필터 가중치 및 유사도 행렬을 학습시켜 적응형 메시지 전파를 가능하게 한다.
• 정보가 학습된 동적 필터와 유사도를 사용하여 집계되는, 미분 가능한 과정으로서 메시지 전파를 공식화한다.
• ResNet 및 ResNeXt 백본의 컨벌루션 블록 뒤에 플러그인 레이어로 DGMN 모듈를 통합한다.
• 다중 헤드 메커니즘을 사용하여 여러 그룹의 필터와 유사도를 예측함으로써 더 rich한 특징 모델링을 가능하게 한다.
• 검출 및 세분화 작업을 위한 표준 크로스 엔트로피 손실 및 박스/마스크 손실을 사용하여 전체 모델을 엔드 투 엔드로 최적화한다.

Figure 1: Contextual information is crucial for complex scene understanding tasks. To recognise the “boathouse”, one needs to consider the “boat” and the “water” next to it. Fully-connected message passing models (a) are able to obtain this information, but are prohibitively expensive. Furthermore,

실험 결과

연구 질문

• RQ1 동적 노드 샘플링은 시각 작업에서 장거리 맥락 모델링을 유지하면서 계산 비용을 줄일 수 있는가?
• RQ2 위치 기반의 필터 가중치 및 유사도를 학습시키면 메시지 전파의 효율성과 표현 품질이 향상되는가?
• RQ3 DGMN는 FLOPs와 파라미터 수를 크게 줄였음에도 불구하고 완전 연결 Non-local 네트워크를 능가할 수 있는가?
• RQ4 DGMN는 ResNet-101 및 ResNeXt-101과 같은 강력한 백본에 통합되었을 때 여러 작업에서 얼마나 효과적인가?
• RQ5 샘플링 비율과 필터 그룹 수를 변화시켰을 때 DGMN의 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• 동적 필터와 유사도를 갖춘 DGMN는 Cityscapes에서 40.2 AP, COCO에서 44.3 AP를 기록하며, Non-local 네트워크를 능가하면서도 FLOPs의 9.4%와 파라미터의 25.3%만을 사용한다.
• COCO에서 DGMN는 ResNeXt-101-FPN 기반 Mask R-CNN의 AP 박스를 1.7 포인트, AP 마스크를 1.2 포인트 향상시켰으며, CornerNet과 같은 최신 기술 수준의 단일 스테이지 검출기보다 AP 박스에서 2.1 포인트 뛰어난 성능을 보였다.
• ResNet-101에 적용했을 때 DGMN는 AP 박스를 1.6 포인트, AP 마스크를 1.2 포인트 향상시켜 더 강력한 백본에 대한 뛰어난 전이 가능성(transferability)을 입증했다.
• 제거 실험 결과, 동적 샘플링과 동적 가중치/유사도 모두 성능 향상에 기여하며, 전체 DGMN 모델이 가장 우수한 성능을 기록했다.
• Cityscapes와 COCO에서의 정성적 결과는 DGMN가 더 적은 오진과 빠짐을 보이며, 더 선명하고 정확한 인스턴스 세분화 마스크를 생성함을 보여주었다.
• 단일 스케일, 단일 모델 추론로 COCO test-dev에서 최신 기술 수준의 성능을 달성하였으며, 추가 데이터나 훈련 기법을 사용하지 않았다.

Figure 2: Overview of our proposed dynamic graph message passing network (DGMN). The neighbourhood used to update the feature representation of each node (we show a single node with a red square) is predicted dynamically conditioned on each input. This is done by first uniformly sampling (denoted by