[논문 리뷰] LatentGNN: Learning Efficient Non-local Relations for Visual Recognition

Songyang Zhang, Shipeng Yan외 1명|arXiv (Cornell University)|2019. 05. 28.

Advanced Neural Network Applications참고 문헌 47인용 수 46

한 줄 요약

LatentGNN은 잠재 공간 그래프 신경망을 도입하여 저랭크 인접 행렬 표현으로 비국소(feature) 관계를 모델링하고, 시각 인식 작업을 위한 확장 가능한 문맥 인지 특성 보강을 가능하게 한다. 기존의 비국소 방법들에 비해 계산량을 줄이면서 큰 성능 향상을 제공합니다.

ABSTRACT

Capturing long-range dependencies in feature representations is crucial for many visual recognition tasks. Despite recent successes of deep convolutional networks, it remains challenging to model non-local context relations between visual features. A promising strategy is to model the feature context by a fully-connected graph neural network (GNN), which augments traditional convolutional features with an estimated non-local context representation. However, most GNN-based approaches require computing a dense graph affinity matrix and hence have difficulty in scaling up to tackle complex real-world visual problems. In this work, we propose an efficient and yet flexible non-local relation representation based on a novel class of graph neural networks. Our key idea is to introduce a latent space to reduce the complexity of graph, which allows us to use a low-rank representation for the graph affinity matrix and to achieve a linear complexity in computation. Extensive experimental evaluations on three major visual recognition tasks show that our method outperforms the prior works with a large margin while maintaining a low computation cost.

연구 동기 및 목표

• 시각 특징 표현에서 장거리 의존관계를 포착하여 인식 작업을 향상한다.
• 표준 ConvNet과 호환 가능한 확장 가능하고 효율적인 비국소 맥락 모델링 메커니즘을 제공한다.
• 저랭크, 커널 혼합 그래프 표현을 통해 태스크 중심 비국소 관계를 학습한다.
• 객체 탐지, 분할, 포인트 클라우드 분할 등 여러 비전 태스크에서의 효과성을 입증한다.

제안 방법

• 합성곱 특징을 잠재 노드가 특성 노드에 연결되고 서로 연결된 잠재 그래프로 확장한다.
• 가시성-잠재, 잠재-잠재, 잠재-가시로 이어지는 3단계 메시지 전달을 수행하여 비국소 맥락을 추정한다.
• 잠재 변수의 저랭크 혼합 커널로 전체 그래프 친화도를 표현하여 선형 시간 계산을 가능하게 한다.
• 잠재 GNN이 밀집 친화 행렬의 저랭크 근사에 해당하는 행렬 형태 해석을 제공한다.
• 심층 컨볼루션 네트워크에서 여러 잠재 GNN 층을 쌓고 잔차형 보강을 통해 원래 특징과 융합하도록 한다.
• 2D 시각 작업용 그리드 형태의 특징 그래프와 3D 포인트 클라우드용 불규칙 그래프 모두에 확장하고, 태스크별 손실 함수로 엔드 투 엔드 학습으로 검증한다.

실험 결과

연구 질문

• RQ1 잠재 변수 GNN이 시각 특징의 비국소 관계를 효율적이고 유연하게 모델링할 수 있는가?
• RQ2 저랭크 커널 혼합 표현이 시각 태스크에서 전체 연결 GNN보다 확장성 및 성능을 향상시키는가?
• RQ3 LatentGNN을 표준 탐지기/세그먼터 및 포인트 클라우드 네트워크에 통합하여 모 modest 계산 오버헤드로 정확도를 높일 수 있는가?
• RQ4 LatentGNN은 2D 이미지 기반과 3D 포인트 클라우드 분할 태스크에서 어떻게 성능을 발휘하는가?
• RQ5 다수의 잠재 층이나 다수의 저랭크 커널을 추가하는 것이 성능과 비용에 어떤 영향을 미치는가?

주요 결과

• LatentGNN은 베이스라인 대비 객체 탐지와 인스턴스 분할 성능을 일관되게 향상시키면서 계산 비용은 낮게 유지한다.
• 소수의 잠재 노드를 가진 잠재 공간은 선형 시간의 메시지 전달을 가능하게 하여 밀집 친화 기반 GNN에 비해 상당한 속도 향상을 제공한다.
• 다중 저랭크 커널의 혼합은 단일 커널보다 표현력과 성능을 추가로 향상시킨다.
• 다양한 백본 단계에서 LatentGNN을 도입하면 큰 이득이 나타나며, 다단계 배치가 더 큰 개선을 제공한다.
• LatentGNN은 불규칙 그래프 데이터에도 이득을 주며 3D 포인트 클라우드 의미 분할 작업에서 개선을 달성한다.
• 이 프레임워크는 모듈식이며 엔드 투 엔드 학습이 가능하고, 표준 CNN 백본 내에서 여러 LatentGNN 층의 중첩을 지원한다.