[논문 리뷰] SORT: Second-Order Response Transform for Visual Recognition

Yan Wang, Lingxi Xie외 4명|arXiv (Cornell University)|2017. 03. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 4

한 줄 요약

이 논문은 두 가지 브랜치 특징의 선형 합에 요소별 곱셈 연산을 추가하는 경량 모듈인 Second-Order Response Transform (SORT)를 제안한다. 두 번째 차수의 상호작용을 도입함으로써 SORT는 교차 브랜치 정보 흐름과 비선형성을 향상시켜, CIFAR 및 ImageNet 벤치마크에서 일관된 정확도 향상을 이끌어내며, 추론 오버헤드는 5% 미만이다.

ABSTRACT

In this paper, we reveal the importance and benefits of introducing second-order operations into deep neural networks. We propose a novel approach named Second-Order Response Transform (SORT), which appends element-wise product transform to the linear sum of a two-branch network module. A direct advantage of SORT is to facilitate cross-branch response propagation, so that each branch can update its weights based on the current status of the other branch. Moreover, SORT augments the family of transform operations and increases the nonlinearity of the network, making it possible to learn flexible functions to fit the complicated distribution of feature space. SORT can be applied to a wide range of network architectures, including a branched variant of a chain-styled network and a residual network, with very light-weighted modifications. We observe consistent accuracy gain on both small (CIFAR10, CIFAR100 and SVHN) and big (ILSVRC2012) datasets. In addition, SORT is very efficient, as the extra computation overhead is less than 5%.

연구 동기 및 목표

• 깊은 네트워크에서 선형 융합의 제한된 표현 능력이 복잡한 특징 분포를 모델링하는 데 제약가 되는 문제를 해결한다.
• 특징 융합에 선형 합산에만 의존하는 표준 잔차 및 다중 브랜치 네트워크의 한계를 극복한다.
• 지나치게 높은 계산 비용 없이도 비선형성과 교차 브랜치 정보 흐름을 향상시키는 단순하면서도 효과적인 모듈을 개발한다.
• 체인 스타일 및 잔차 네트워크를 포함한 다양한 아키텍처에서 소규모 및 대규모 시각 인식 작업에 걸쳐 일관된 성능 향상을 가능하게 한다.
• Caltech256에서의 전이 학습과 같은 후행 작업에 대해 SORT로 강화된 특징의 이식 가능성과 성능을 입증한다.

제안 방법

• 두 브랜치 네트워크 모듈을 제안하며, 출력은 제2차 수준의 연산을 통해 융합된다: $\mathbf{F}_1(\mathbf{x}) + \mathbf{F}_2(\mathbf{x}) + \mathbf{F}_1(\mathbf{x}) \odot \mathbf{F}_2(\mathbf{x})$로, 선형 합과 요소별 곱셈을 조합한다.
• 잔차 블록에 SORT를 적용하기 위해, 정체성 스위치 연결을 $\mathbf{x} + \mathbf{F}(\mathbf{x}) + \sqrt{\mathbf{x} \odot \mathbf{F}(\mathbf{x})}$로 수정함으로써 비선형성을 도입하면서도 잔차 학습의 본질을 유지한다.
• 교차 브랜치 반응 전파를 도입: 역전파 동안 각 브랜치가 다른 브랜치의 현재 상태에 따라 제품 항을 통해 가중치를 갱신한다.
• 요소별 연산만 추가함으로써 계산 효율성을 확보하여, 추가 계산은 5% 미만, 메모리 사용량은 증가하지 않는다.
• 아키텍처 변경을 최소화하면서도, AlexNet 및 ResNet의 분기형 변형을 포함한 다양한 아키텍처에 SORT를 통합한다.
• CIFAR10, CIFAR100, SVHN, ILSVRC2012에서 표준 학습 프로토콜과 평가 지표를 사용하여, 다양한 데이터셋과 네트워크 깊이에서의 성능를 검증한다.

실험 결과

연구 질문

• RQ1 요소별 곱셈과 같은 제2차 수준 연산을 도입함으로써, 선형 융합을 초월한 딥 네트워크의 표현 능력 향상이 가능한가?
• RQ2 제2차 수준 변환의 추가로 전방 및 역방향 전파 동안 교차 브랜치 정보 흐름이 향상되는가?
• RQ3 체인 스타일 네트워크 및 잔차 네트워크와 같은 다양한 아키텍처에 대해, 계산 비용을 크게 증가시키지 않고 SORT를 효율적으로 적용할 수 있는가?
• RQ4 SORT에서 유도된 비선형성은 소규모(CIFAR) 및 대규모(ImageNet) 데이터셋에서 일관된 정확도 향상으로 이어지는가?
• RQ5 SORT로 학습된 특징은 Caltech256와 같은 외부 데이터셋에서의 전이 학습 시나리오로 얼마나 잘 일반화되는가?

주요 결과

• CIFAR10에서, 분기형 AlexNet 변형에 적용했을 때 SORT는 상위-1 오차를 36.71%에서 35.99%로 감소시켜 상대적 개선률 1.96%를 기록했다.
• CIFAR100에서, SORT는 상위-1 오차를 14.77%에서 14.46%로 감소시켜 기준 모델 대비 2.10% 상대적 감소를 달성했다.
• ILSVRC2012에서, ResNet-18의 상위-1 오차는 34.50%에서 32.37%로 감소하여 6.17% 상대적 개선을 이루었고, ResNetT-50의 경우 23.82%에서 23.10%로 향상되었다.
• 4개의 GPU 머신에서 추가 계산 시간은 5% 미만이었으며, 추가 메모리 소비는 없었으며, 이는 효율성을 확인하는 데 기여했다.
• Caltech256에서의 전이 학습 실험 결과, SORT로 강화된 모델의 pool-5 레이어에서 74.88%의 정확도를 기록하여 기준 AlexNet* (74.20%) 및 일반 AlexNet (69.19%)를 모두 초월했다.
• 학습 곡선 분석 결과, 일부 경우에서 수렴 속도가 약간 느려질 수 있으나, 다양한 아키텍처에서 최종 일반화 성능 향상이 일관되게 관찰되었다.