[논문 리뷰] Learning Deep Bilinear Transformation for Fine-grained Image Representation

Heliang Zheng, Jianlong Fu외 2명|arXiv (Cornell University)|2019. 11. 09.

Advanced Neural Network Applications참고 문헌 33인용 수 77

한 줄 요약

이 논문은 의미론적 그룹화된 채널 간의 intra-group bilinear 상호작용을 학습하는 Deep Bilinear Transformation(DBT) 블록을 도입하여 CNN에서 깊은 스택을 가능하게 하고 계산량을 줄이면서 미세-구분 인식을 향상시킨다.

ABSTRACT

Bilinear feature transformation has shown the state-of-the-art performance in learning fine-grained image representations. However, the computational cost to learn pairwise interactions between deep feature channels is prohibitively expensive, which restricts this powerful transformation to be used in deep neural networks. In this paper, we propose a deep bilinear transformation (DBT) block, which can be deeply stacked in convolutional neural networks to learn fine-grained image representations. The DBT block can uniformly divide input channels into several semantic groups. As bilinear transformation can be represented by calculating pairwise interactions within each group, the computational cost can be heavily relieved. The output of each block is further obtained by aggregating intra-group bilinear features, with residuals from the entire input features. We found that the proposed network achieves new state-of-the-art in several fine-grained image recognition benchmarks, including CUB-Bird, Stanford-Car, and FGVC-Aircraft.

연구 동기 및 목표

• 계산 비용에 대한 부담 없이 더 풍부한 bilinear features를 학습해 미세-세분화 이미지 인식을 향상시킨다.
• 판별 가능한 특징 채널에 초점을 맞추기 위해 의미 정보를 bilinear pooling에 통합한다.
• 표준 CNN 백본 내에서 bilinear 변환의 깊은 스태킹을 가능하게 한다.
• 2차 차원 상호작용을 포착하면서 특징 차원을 유지하거나 축소한다.

제안 방법

• 채널을 G개의 의미론적 그룹으로 분할하기 위해 의미론적 그룹화를 도입한다.
• 각 그룹 내에서 그룹 내 bilinear 상호작용을 계산해 그룹 bilinear 특징을 형성한다.
• 순서를 보존하기 위해 그룹 인덱스 인코딩으로 그룹 간의 그룹 내 bilinear 특징을 집계한다.
• 원래 특징과 bilinear 특징을 융합하기 위한 잔차(residual)와 같은 단축 경로를 도입하여 최적화를 돕는다.
• 추가 파라미터를 거의 늘리지 않으면서 DBT 블록을 CNN(예: ResNet 백본)에 쌓고 블록당 약 5M FLOPs를 달성한다.

실험 결과

연구 질문

• RQ1 의미론적 그룹화가 심층 CNN에 적합한 효율적인 그룹 내 bilinear 상호작용을 가능하게 할 수 있는가?
• RQ2 의미적 파트별로 채널을 그룹화하는 것이 미세-세분화 작업에 대해 구별력을 갖춘 bilinear 표현을 향상시킨는가?
• RQ3 그룹 인덱스 인코딩과 shortcut 연결이 학습 및 정확도에 미치는 영향은 무엇인가?
• RQ4 표준 미세-구분 벤치마크에서 DBTNet이 기존의 bilinear pooling 방법과 어떻게 비교되는가?
• RQ5 더 깊은 네트워크와 대규모 데이터셋에서 DBT가 효과적인가?

주요 결과

• DBTNet은 CUB-200-2011, Stanford-Car, FGVC-Aircraft 데이터셋에서 새로운 최첨단 성능을 달성한다.
• DBTNet-50 (2k) reaches 87.5 on CUB, 94.1 on Stanford-Car, and 91.2 on Aircraft.
• DBTNet-101 (2k) reaches 88.1 on CUB, 94.5 on Stanford-Car, and 91.6 on Aircraft.
• Compared with Compact Bilinear and Kernel Pooling, DBT generally improves accuracy across datasets.
• On iNaturalist-2017, DBTNet-50 outperforms ResNet-50 by 2.1 percentage points; on ImageNet, DBTNet-50 beats ResNet-50 by 1.6 points.