[논문 리뷰] Statistically Motivated Second Order Pooling

Kaicheng Yu, Mathieu Salzmann|arXiv (Cornell University)|2018. 01. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 38인용 수 7

한 줄 요약

이 논문은 깊이 있는 네트워크에서 두 번째 차수 풀링을 위한 통계적으로 타당한, 매개변수 기반 압축 방법을 제안한다. 이는 월리쉬 분포를 따르는 공분산 행렬과 학습 가능한 변환을 통해 정규 분포를 따르는 특징 표현을 활용한다. 다양한 벤치마크에서 기존의 압축 및 압축되지 않은 두 번째 차수 모델을 능가하는 최고 성능을 달성하며, 최대 90%의 파라미터 감소를 이룬다.

ABSTRACT

Second-order pooling, a.k.a.~bilinear pooling, has proven effective for deep learning based visual recognition. However, the resulting second-order networks yield a final representation that is orders of magnitude larger than that of standard, first-order ones, making them memory-intensive and cumbersome to deploy. Here, we introduce a general, parametric compression strategy that can produce more compact representations than existing compression techniques, yet outperform both compressed and uncompressed second-order models. Our approach is motivated by a statistical analysis of the network's activations, relying on operations that lead to a Gaussian-distributed final representation, as inherently used by first-order deep networks. As evidenced by our experiments, this lets us outperform the state-of-the-art first-order and second-order models on several benchmark recognition datasets.

연구 동기 및 목표

• 고차원 표현으로 인해 발생하는 메모리 문제와 과적합 문제를 해결하기 위해 두 번째 차수 풀링의 문제를 해결한다.
• 기존 방법들과 비교해 표현 능력을 유지하거나 향상시키는 일반적인 매개변수 기반 압축 전략을 개발한다.
• 성공적인 첫 번째 차수 네트워크에 내재된 정규 분포 가정과 최종 특징 분포를 일치시켜 일반화 능력을 향상시킨다.
• 모델 크기를 크게 줄임으로써 두 번째 차수 네트워크의 효과적인 구현을 가능하게 한다.

제안 방법

• 학습 가능한 매개변수를 사용해 공분산 행렬을 압축하는 매개변수 기반 벡터화(PV) 레이어를 제안하여 차원을 감소시키면서도 두 번째 차수 정보를 유지한다.
• 중심극한정리에 기반해 χ² 분포를 따르는 특징를 정규 분포로 수렴시키기 위해 PV 출력에 제곱근 정규화를 적용한다.
• 정규화 이후 학습 가능한 스케일 및 시프트(γ, β)를 도입하여 최종 표현이 정규 분포와 더 잘 일치하도록 한다.
• 통계 분석을 통해 최종 표현이 정규 분포를 따름을 입증하여, 첫 번째 차수 네트워크와 유사한 특징을 가지며 일반화 능력을 향상시킨다.
• 표준 backpropagation를 사용해 VGG-D, ResNet-50와 같은 표준 CNN에 대해 엔드 투 엔드 학습을 적용한다.
• 제안된 변환의 통계적 기반을 뒷받침하기 위해 공분산 행렬의 위샤르트 분포 모델링을 사용한다.

실험 결과

연구 질문

• RQ1 두 번째 차수 풀링을 위한 통계적으로 타당한 압축 전략이 성능 향상과 함께 모델 크기를 줄일 수 있는가?
• RQ2 최종 특징 분포를 정규 분포로 일치시키는 것이 두 번째 차수 딥 네트워크의 정확도를 향상시키는가?
• RQ3 매개변수 기반 압축 방법이 비매개변수 또는 작업 특화 압축 기준선보다 두 번째 차수 네트워크에서 더 우수한 성능을 낼 수 있는가?
• RQ4 특히 극단적인 감소(예: 파라미터의 10%) 상황에서 제안된 방법의 탄력성은 어떠한가?
• RQ5 학습 가능한 정규화 레이어(γ, β)를 사용할 경우 고정된 변환보다 성능 향상이著명한가?

주요 결과

• 제안된 SMSO 방법은 DTD, MINC-2500, MIT-Indoor 데이터셋에서 최고 성능을 보이는 첫 번째 차수 모델들(예: VGG-D, ResNet-50)과 모든 두 번째 차수 기준선을 능가한다.
• 단지 64차원(파라미터의 10%)일 때, SMSO는 MINC-2500에서 78.00%의 정확도를 달성하여 90%의 파라미터 감소를 이룬 최고 성능 기준선(CBP-TS)과 동일한 성능을 낸다.
• ResNet-50에서 SMSO는 원본 네트워크와 모든 두 번째 차수 기준선을 지속적으로 능가하여 깊이 있는 아키텍처를 향상시킬 수 있음을 보여준다.
• 제거 실험 결과, 학습 가능한 γ, β를 통해 정규 분포를 따르는 특징가 가장 높은 정확도(78.00%)를 기록하며, 비정규 분포보다 유의미하게 뛰어난 성능을 보였다.
• PV 차원의 변화에 관계없이 높은 정확도를 유지하며, 모든 테스트 데이터셋에서 안정적인 성능을 보였다.
• 제곱근, 세제곱근, 로그 변환과 같은 변환은 모두 변환 없이 비교해 정확도 향상을 보였지만, 학습 가능한 스케일 및 시프트 조합이 가장 우수한 결과를 얻었다.