[논문 리뷰] Adaptively Connected Neural Networks

Guangrun Wang, Keze Wang외 1명|ArXiv.org|2019. 04. 07.

Video Surveillance and Tracking Methods참고 문헌 58인용 수 10

한 줄 요약

이 논문은 Adaptively Connected Neural Networks(ACNet)라는 새로운 아키텍처를 제안한다. 이는 유클리드(예: 이미지) 및 비유클리드(예: 그래프) 데이터 모두에서 특징 노드의 전역 및 국소 추론 간에 동적으로 전환할 수 있도록 하여, 데이터 기반의 융통성 있는 연결성을 실현한다. ACNet는 기저선 모델인 ResNet과 기존 GNN들을 능가하며 CNN 및 MLP의 한계를 극복하면서 ImageNet-1k, COCO, Cora에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 기저선 연결성의 최적화를 위해 미분 가능한 중요도 점수를 학습함으로써 달성된다.

ABSTRACT

This paper presents a novel adaptively connected neural network (ACNet) to improve the traditional convolutional neural networks (CNNs) {in} two aspects. First, ACNet employs a flexible way to switch global and local inference in processing the internal feature representations by adaptively determining the connection status among the feature nodes (e.g., pixels of the feature maps) \footnote{In a computer vision domain, a node refers to a pixel of a feature map{, while} in {the} graph domain, a node denotes a graph node.}. We can show that existing CNNs, the classical multilayer perceptron (MLP), and the recently proposed non-local network (NLN) \cite{nonlocalnn17} are all special cases of ACNet. Second, ACNet is also capable of handling non-Euclidean data. Extensive experimental analyses on {a variety of benchmarks (i.e.,} ImageNet-1k classification, COCO 2017 detection and segmentation, CUHK03 person re-identification, CIFAR analysis, and Cora document categorization) demonstrate that {ACNet} cannot only achieve state-of-the-art performance but also overcome the limitation of the conventional MLP and CNN \footnote{Corresponding author: Liang Lin ([e-mail])}. The code is available at \url{https://github.com/wanggrun/Adaptively-Connected-Neural-Networks}.

연구 동기 및 목표

• CNN이 전역 의존성을 포착하는 데에 한계가 있음과, MLP가 공간적 구조를 다루는 데에 어려움이 있음을 해결하기 위해.
• 비국소 네트워크와 같은 기존 방법에서 발생하는 과도한 국소화 및 과도한 전역화 문제를 극복하기 위해.
• 유클리드 및 비유클리드 데이터를 모두 처리할 수 있는 유일한 미분 가능한 프레임워크로 MLP와 CNN을 통합하기 위해.
• 각 노드별 최적의 연결 패턴을 학습하는 파라미터 효율적이고 융통성 있는 아키텍처를 개발하기 위해.
• 비전 및 그래프 학습 작업 전반에 걸쳐 일반화 능력을 입증하기 위해.

제안 방법

• ACNet은 특징 벡터 단위(예: 픽셀, 오디오 샘플, 그래프 노드)를 '노드'로 정의함으로써 다양한 데이터 유형을 통합적으로 다룰 수 있도록 한다.
• 특징 변환을 국소, 전역, 자기 연결의 학습 가능한 조합으로 설정하며, 주로 어텐션 유사한 가중치를 사용한다.
• 연결 중요도는 미분 가능한 파라미터(α, β, γ)로 모델링되어 최적의 연결성 학습을 위한 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 비구조적 비유클리드 데이터에서의 훈련 안정성을 높이기 위해 위치 인코딩을 도입하여 자유도를 감소시킨다.
• MLP와 CNN을 특수 케이스로 포함하는 통합 프레임워크로서, ACNet은 적응형 연결성을 위한 유일한 프레임워크이다.
• 학습 가능한 집계 함수를 사용한다: H′ = ∑j qij(xjw) + ∑j qij(xjw) + ∑j qij(xjw), 여기서 qij는 자기, 국소, 전역 연결에 대한 학습된 어텐션 가중치를 나타낸다.

실험 결과

연구 질문

• RQ1 신경망이 데이터 기반의, 미분 가능한 방식으로 국소 추론과 전역 추론 간에 동적으로 전환할 수 있는가?
• RQ2 적응형 연결성이 고정된 연결성을 가진 CNN 및 MLP에 비해 이미지 및 그래프 데이터에서 성능 향상에 기여하는 방식은 무엇인가?
• RQ3 문헌 인용 네트워크와 같은 비유클리드 데이터에서 전역 추론과 국소 추론의 기여도는 각각 어떻게 다른가?
• RQ4 위치 인코딩은 비구조적 그래프 데이터에서 훈련 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 ACNet은 이미지 분류, 객체 검출, 노드 분류를 포함한 다양한 벤치마크에 일반화될 수 있는가?

주요 결과

• ImageNet-1k에서 ACNet는 ResNet보다 낮은 top-1 훈련 및 검증 오차를 기록하여 최적화 및 일반화 능력 향상을 입증한다.
• Cora 인용 네트워크에서 ACNet는 83.5%의 정확도를 달성하여 최신 기술 수준의 GNN인 Dual GCN(83.5%)을 능가한다.
• 전역 추론을 제거하면 Cora에서 성능이 1.4% 감소하여, 장거리 의미적 의존성을 포착하는 데서 전역 추론의 핵심적 역할을 확인한다.
• 국소 추론을 제거하면 성능이 7.2% 감소하여, 국소 구조와 인용 패턴이 노드 분류에 있어 필수적임을 보여준다.
• 고정된 전역+국소 연결성(일정한 어텐션 가중치)은 적응형 버전보다 0.8% 성능이 열 劣하여 동적 전환의 이점이 있음을 입증한다.
• 위치 인코딩을 제거하면 성능이 0.5% 감소하여, 비구조적 그래프에서 훈련 안정성을 높이기 위해 위치 인코딩이 중요한 역할을 한다는 것을 시사한다.