[논문 리뷰] Funnel Activation for Visual Recognition

Ningning Ma, Xiangyu Zhang외 1명|arXiv (Cornell University)|2020. 07. 23.

Advanced Neural Network Applications참고 문헌 46인용 수 14

한 줄 요약

이 논문은 ReLU와 PReLU를 확장하여 소규모 컨볼루션 필터를 통한 학습 가능한 공간 조건을 적용함으로써 픽셀 단위의 특징 모델링이 가능한 새로운 2D 공간 인식 활성화 함수인 Funnel Activation (FReLU)를 소개한다. 이는 최소한의 계산 오버헤드로 인해 이미지 분류, 객체 검출, 세그멘테이션 등 다양한 작업에서 SOTA 성능을 달성하며, ResNet 및 MobileNet과 같은 기존 아키텍처와 높은 호환성을 유지한다.

ABSTRACT

We present a conceptually simple but effective funnel activation for image recognition tasks, called Funnel activation (FReLU), that extends ReLU and PReLU to a 2D activation by adding a negligible overhead of spatial condition. The forms of ReLU and PReLU are y = max(x, 0) and y = max(x, px), respectively, while FReLU is in the form of y = max(x,T(x)), where T(x) is the 2D spatial condition. Moreover, the spatial condition achieves a pixel-wise modeling capacity in a simple way, capturing complicated visual layouts with regular convolutions. We conduct experiments on ImageNet, COCO detection, and semantic segmentation tasks, showing great improvements and robustness of FReLU in the visual recognition tasks. Code is available at https://github.com/megvii-model/FunnelAct.

연구 동기 및 목표

• 시각 인식 작업에서 스칼라 활성화 함수가 공간적 맥락을 포착하는 데 한계가 있음을 해결하기 위해.
• 모델 복잡도를 증가시키지 않으면서도 공간 맥락을 활용해 특징 표현을 향상시키는 단순하면서도 효과적인 활성화 메커니즘을 설계하기 위해.
• 오직 수정된 활성화 함수만을 사용하여도 밀도 높은 예측 작업(예: 세그멘테이션, 검출)과 희소한 작업(예: 분류)의 성능을 향상시키기 위해.
• 기존의 주의 메커니즘(예: SENet)과의 호환성과 상호보완성을 입증하기 위해.

제안 방법

• FReLU는 ReLU의 스칼라 임계값을 학습 가능한 2D 공간 조건으로 대체하며, y = max(x, T(x))로 정의된다. 여기서 T(x)는 소규모 컨볼루션 필터를 통해 생성된 특징 맵이다.
• 공간 조건 T(x)는 입력 특징 맵에 1×1 또는 소형 커널(예: 3×3, 5×5) 컨볼루션을 적용하여 국소적인 공간 맥락 모델링을 가능하게 한다.
• 이 방법은 계산 오버헤드가 극히 적으며, 각 레이어에 몇 개의 FLOPs만 추가한다.
• FReLU는 컨볼루션 레이어 이후, 특히 잔차 블록 내 1×1 및 3×3 컨볼루션 이후에 적용되어 특징 표현을 향상시킨다.
• 공간 조건은 훈련 중에 엔드 투 엔드로 학습되며, 네트워크가 복잡한 시각적 레이아웃을 적응적으로 모델링할 수 있도록 한다.
• 이 방법은 다양한 아키텍처(ResNet-50, MobileNet, ShuffleNetV2)와 작업(분류, 검출, 세그멘테이션)에서 평가되었다.

실험 결과

연구 질문

• RQ1 활성화 함수에 단순하면서도 학습 가능한 공간 조건을 도입하면 시각 인식 작업의 성능을 크게 향상시킬 수 있는가?
• RQ2 FReLU와 같이 2D 공간 인식 활성화 함수는 희소 및 밀도 높은 예측 작업 모두에서 표준 스칼라 활성화 함수(예: ReLU, PReLU)를 초월하는가?
• RQ3 SENet과 같은 주의 메커니즘과 결합했을 때 FReLU의 성능는 어떠한가?
• RQ4 CNN 아키텍처 내에서 FReLU의 최적의 배치는 어디인가? (예: 1×1 vs. 3×3 컨볼루션 이후, 浅층 vs. 깊은 층)

주요 결과

• ResNet-50에서 FReLU는 ImageNet Top-1 오차율을 ReLU의 24.0%에서 22.4%로 낮춰 1.6%의 절대적 향상률을 기록했다.
• ResNet-50을 백본으로 사용할 때 COCO 객체 검출에서 FReLU는 mAP를 ReLU 대비 1.2% 향상시켰다.
• Cityscapes 세그멘테이션 작업에서 FReLU는 ReLU보다 평균 IoU가 1.5% 높아, 밀도 높은 예측 작업에 대한 강력한 일반화 능력을 입증했다.
• FReLU는 단독으로 사용했을 때 SENet보다 뛰어난 성능을 보였으며, SENet와 조합했을 경우 정확도를 22.1%까지 향상시켜 강력한 호환성을 입증했다.
• ResNet-50의 잔차 블록에서 1×1 및 3×3 컨볼루션 이후에 FReLU를 적용할 경우 가장 높은 성능을 기록했으며, ImageNet에서 Top-1 오차율은 22.4%였다.
• ResNet-50의 초기 단계(Stage 2–4)에 FReLU를 적용할 경우 깊은 단계보다 더 큰 성능 향상을 얻었으며, 전체 설정에서 22.4%의 최저 오차율을 기록했다.