[논문 리뷰] Factorized Bilinear Models for Image Recognition

Yanghao Li, Naiyan Wang외 2명|arXiv (Cornell University)|2016. 11. 17.

Advanced Neural Network Applications참고 문헌 35인용 수 4

한 줄 요약

이 논문은 저랭크 파arameterization을 사용하여 양차 상호작용을 모델링하는 Factorized Bilinear (FB) 레이어를 제안한다. 이는 선형적이고 계산 복잡도가 선형인 비선형성을 제공하며, CIFAR-10, CIFAR-100, ImageNet에서 최소한의 계산 오버헤드로 최신 기술 성능을 달성한다. 또한 DropFactor 정규화 기법을 통해 일반화 능력을 향상시킨다.

ABSTRACT

Although Deep Convolutional Neural Networks (CNNs) have liberated their power in various computer vision tasks, the most important components of CNN, convolutional layers and fully connected layers, are still limited to linear transformations. In this paper, we propose a novel Factorized Bilinear (FB) layer to model the pairwise feature interactions by considering the quadratic terms in the transformations. Compared with existing methods that tried to incorporate complex non-linearity structures into CNNs, the factorized parameterization makes our FB layer only require a linear increase of parameters and affordable computational cost. To further reduce the risk of overfitting of the FB layer, a specific remedy called DropFactor is devised during the training process. We also analyze the connection between FB layer and some existing models, and show FB layer is a generalization to them. Finally, we validate the effectiveness of FB layer on several widely adopted datasets including CIFAR-10, CIFAR-100 and ImageNet, and demonstrate superior results compared with various state-of-the-art deep models.

연구 동기 및 목표

• CNN의 합성곱 및 완전연결 레이어의 표현 능력을 선형 변환을 초월해 향상시키기 위해.
• 기하급수적으로 증가하는 파라미터 또는 계산 비용 없이 효율적으로 쌍별 특징 상호작용을 모델링하기 위해.
• 새로운 정규화 방법인 DropFactor를 통해 이원형 모델의 과적합 문제를 해결하기 위해.
• 딥 네트워크의 모든 레이어에 대해 이원형 풀링을 일반화하면서도 확장성을 유지하기 위해.

제안 방법

• 이원형 변환 행렬의 저랭크 분해를 통해 이차 특징 상호작용을 모델링하는 Factorized Bilinear (FB) 레이어를 제안한다.
• 랭크 제약을 가진 파라미터화를 사용하여 입력 차원에 대해 선형 복잡도로 파라미터 수와 계산 비용을 감소시킨다.
• Dropout과 유사하게 훈련 중에 이원형 요소의 일부를 무작위로 0으로 설정하는 정규화 방법인 DropFactor를 도입한다.
• 표준 backpropagation를 사용해 엔드 투 엔드 훈련이 가능한, 합성곱 및 완전연결 레이어 모두에 FB 레이어를 적용한다.
• 공정한 비교를 위해 ImageNet 훈련 시 표준 데이터 증강 및 초기화 전략을 사용한다.

실험 결과

연구 질문

• RQ1 기하급수적인 파라미터 수 증가 없이도 깊은 네트워크에서 쌍별 특징 상호작용을 효율적으로 모델링할 수 있는가?
• RQ2 이원형 레이어의 저랭크 분해가 표현 능력을 유지하면서도 계산 비용을 줄일 수 있는가?
• RQ3 DropFactor와 같은 전용 정규화 방법이 이원형 레이어의 과적합을 효과적으로 방지할 수 있는가?
• RQ4 제안된 FB 레이어가 소규모(CIFAR) 및 대규모(ImageNet) 데이터셋을 포함한 다양한 벤치마크에서 성능 향상을 이끌 수 있는가?

주요 결과

• CIFAR-100에서 제안된 ResNet-164-FBN 모델은 상위-1 오차율 23.64%를 기록했으며, 기준 ResNet-164(5.30% 오차) 및 기타 최신 기술 모델을 초월한다.
• ImageNet에서 ResNet-50-FBN은 상위-1 오차율을 24.0%로 낮춰 기준 ResNet-50(24.7% 오차) 대비 0.7% 향상시켰다.
• Inception-BN-FBN 버전은 ImageNet에서 상위-1 오차율 26.4%를 기록했으며, 원본 Inception-BN(27.5% 오차) 대비 1.1% 향상되었다.
• 세부 분류 데이터셋에서 FBN은 CUB-200-2011에서 17.09% 오차, DTD에서 32.20% 오차를 기록했으며, 표준 VGG-16를 초월하거나 유사한 성능을 내면서도 더 낮은 계산 비용을 제공한다.
• FBN 모델은 메모리 및 계산 비용이 낮게 유지되며, 표준 레이어 대비 파라미터 수와 추론 시간이 선형적으로 증가한다.