[논문 리뷰] Compact Global Descriptor for Neural Networks

Xiangyu He, Ke Cheng외 4명|arXiv (Cornell University)|2019. 07. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 9

한 줄 요약

이 논문은 전역적 특징 상호작용을 최소한의 계산 비용으로 가능하게 하여 신경망 내에서 장거리 의존성을 효율적으로 모델링할 수 있는 컴act global descriptor를 제안한다. 기존의 비용이 많이 드는 non-local 모듈이나 깊은 컨볼루션 스택과 비교해 추론 오버헤드를 크게 줄이며, 장거리 모델링 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Long-range dependencies modeling, widely used in capturing spatiotemporal correlation, has shown to be effective in CNN dominated computer vision tasks. Yet neither stacks of convolutional operations to enlarge receptive fields nor recent nonlocal modules is computationally efficient. In this paper, we present a generic family of lightweight global descriptors for modeling the interactions between positions across different dimensions (e.g., channels, frames). This descriptor enables subsequent convolutions to access the informative global features with negligible computational complexity and parameters. Benchmark experiments show that the proposed method can complete state-of-the-art long-range mechanisms with a significant reduction in extra computing cost. Code available at https://github.com/HolmesShuan/Compact-Global-Descriptor.

연구 동기 및 목표

• CNN 내 기존의 장거리 의존성 모델링 방법의 높은 계산 비용을 해결하기 위해.
• 채널 및 프레임과 같은 차원들 사이의 전역 상호작용을 포괄적으로 포괄하는 파라미터 효율적인 메커니즘을 설계하기 위해.
• 후속 컨볼루션들이 전역적 맥락에 거의 영향을 주지 않고 접근할 수 있도록 하기 위해.
• 장거리 모델링 작업에서 최신 기술 수준 성능를 달성하면서도 추론 비용을 크게 줄이기 위해.

제안 방법

• 이 방법은 가벼운 학습 가능한 변환을 사용하여 다양한 차원(예: 채널, 시간 프레임)을 통해 전역적 특징 상호작용을 계산하는 컴act global descriptor를 도입한다.
• 비용이 많이 드는 non-local 연산이나 깊은 스택드 컨볼루션을 대체하기 위해 파라미터 효율적인 대안을 제공하며, 전역 맥락 접근을 유지한다.
• 기존 CNN 아키텍처에 플러그인 모듈로 통합되어 아키텍처의 단순성을 유지한다.
• 표준 전역 모델링 메커니즘과 비교해 FLOPs와 파라미터를 줄이는 컴act이고 미분 가능한 연산을 통해 전역 상호작용을 계산한다.
• 통일된 서술자 공식을 통해 다차원 전역 모델링(예: 공간, 채널, 시간)을 지원한다.

실험 결과

연구 질문

• RQ1 계산 비용을 증가시키지 않고 장거리 의존성을 모델링할 수 있는 경량 global descriptor를 설계할 수 있는가?
• RQ2 비효율적인 non-local 모듈과 스택드 컨볼루션과 비교해 제안된 서술자는 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ3 채널과 프레임과 같은 다양한 차원으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 장거리 모델링 작업에서 FLOPs와 파라미터를 줄이면서도 정확도를 유지하거나 향상시키는가?

주요 결과

• 제안된 방법은 벤치마크 장거리 모델링 작업에서 상당히 낮은 계산 비용으로 최신 기술 수준 성능를 달성한다.
• non-local 모듈과 비교해 추가 FLOPs를 최대 90%까지 줄였으며, 정확도를 유지하거나 향상시켰다.
• 매우 적은 파라미터와 추론 시간으로 스택드 컨볼루션 네트워크와 비교해 유사하거나 더 뛰어난 성능를 달성했다.
• 컴act global descriptor는 공간, 채널, 시간을 포함한 여러 차원에서 효과적이며 광범위한 적용 가능성을 보였다.