[논문 리뷰] Improved Bilinear Pooling with CNNs

Tsung‐Yu Lin, Subhransu Maji|arXiv (Cornell University)|2017. 07. 21.

Advanced Neural Network Applications참고 문헌 29인용 수 31

한 줄 요약

이 논문은 이차 순차 CNN 특징에 행렬 제곱근 정규화를 적용하고, 요소별 제곱근 및 ℓ₂ 정규화를 조합함으로써 특징 표현을 향상시키는 개선된 이중선형 CNN(B-CNN) 아키텍처를 제안한다. 이 방법은 세밀한 인식 데이터셋에서 2–3%의 정확도 향상을 달성하며, 새로운 최고 성능 기록을 수립한다. 또한 뉴턴 반복과 리아푸노프 방정식을 이용한 수치적으로 안정적인 기울기 계산을 통해 GPU에서의 효율적인 계산을 가능하게 한다.

ABSTRACT

Bilinear pooling of Convolutional Neural Network (CNN) features [22, 23], and their compact variants [10], have been shown to be effective at fine-grained recognition, scene categorization, texture recognition, and visual question-answering tasks among others. The resulting representation captures second-order statistics of convolutional features in a translationally invariant manner. In this paper we investigate various ways of normalizing these statistics to improve their representation power. In particular we find that the matrix square-root normalization offers significant improvements and outperforms alternative schemes such as the matrix logarithm normalization when combined with elementwise square-root and l2 normalization. This improves the accuracy by 2-3% on a range of fine-grained recognition datasets leading to a new state of the art. We also investigate how the accuracy of matrix function computations effect network training and evaluation. In particular we compare against a technique for estimating matrix square-root gradients via solving a Lyapunov equation that is more numerically accurate than computing gradients via a Singular Value Decomposition (SVD). We find that while SVD gradients are numerically inaccurate the overall effect on the final accuracy is negligible once boundary cases are handled carefully. We present an alternative scheme for computing gradients that is faster and yet it offers improvements over the baseline model. Finally we show that the matrix square-root computed approximately using a few Newton iterations is just as accurate for the classification task but allows an order-of-magnitude faster GPU implementation compared to SVD decomposition.

연구 동기 및 목표

• 표준 요소별 연산을 초월한 행렬 함수 정규화를 탐색함으로써 이중선형 풀링의 표현 능력을 향상시키는 것.
• 특히 행렬 제곱근과 행렬 로그를 포함한 다양한 행렬 정규화 체계가 세밀한 인식 작업의 분류 정확도에 미치는 영향을 조사하는 것.
• 특히 행렬 제곱근에 대해 백프로파게이션 중 행렬 함수 기울기 계산을 수치적으로 안정적이고 효율적으로 수행하는 방법을 개발하는 것.
• 기울기 계산의 수치 정밀도와 최종 모델 정확도 사이의 상호 교환 관계를 평가하며, 특히 SVD 기반과 리아푸노프 기반 기울기 방법을 비교하는 것.
• 뉴턴 반복을 활용한 가속화와 최소한의 계산 오버헤드를 통해 깊은 신경망에서의 행렬 정규화의 실용적 구현을 가능하게 하는 것.

제안 방법

• 이중선형 풀링으로부터 얻은 공분산 행렬에 대해 행렬 제곱근 정규화를 적용하여 대칭 양의 정부호(SPD) 행렬을 UΣ¹ᐟ²Uᵀ 분해를 통해 변환한다.
• 행렬 제곱근 정규화를 요소별 제곱근 및 ℓ₂ 정규화와 조합하여 특징 표현의 안정성과 향상을 높인다.
• 행렬 제곱근의 기울기를 리아푸노프 방정식 해법을 사용해 계산함으로써 SVD 기반 기울기 근사보다 더 수치적으로 정확한 결과를 도출한다.
• 전방 전파에서 뉴턴 방법의 몇 차례 반복을 사용해 행렬 제곱근을 근사함으로써 GPU에서의 빠른 추론이 가능해지며, 정확도 손실이 최소화된다.
• 전체 SVD 분해를 피하는 기울기 계산 기법을 도입하여 수치적 불안정성을 줄이고 학습 안정성을 향상시킨다.
• 리아푸노프 기반 기울기(더 정확함)와 SVD 기반 기울기(더 빠르지만 덜 정확함)를 비교함으로써 기울기 정밀도의 영향을 평가하였으며, 경계 케이스를 신중히 다룰 경우 실질적인 정확도 손실이 거의 없음을 확인했다.

실험 결과

연구 질문

• RQ1 요소별 정규화와 결합했을 때, 행렬 제곱근 정규화가 행렬 로그 정규화를 능가하는가?
• RQ2 정확도를 손상시키지 않고도 반복적 방법을 사용해 GPU에서 행렬 제곱근을 효율적으로 계산할 수 있는가?
• RQ3 기울기 계산의 수치 정밀도가 이중선형 풀링 네트워크의 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ4 행렬 정규화와 요소별 정규화의 조합이 세밀한 인식 작업에 대해 상호 보완적이고 유익한가?
• RQ5 세분화 정규화를 미세조정 단계에서 생략한 단순화된 학습 체계도 기준 B-CNN 모델을 능가할 수 있는가?

주요 결과

• 행렬 제곱근 정규화를 요소별 제곱근 및 ℓ₂ 정규화와 조합한 결과, 세 종류의 세밀한 인식 데이터셋에서 정확도가 2–3% 향상되어 새로운 최고 성능을 기록하였다.
• 몇 차례의 뉴턴 반복을 통해 행렬 제곱근을 계산하는 방법은 SVD 기반 계산과 유사한 정확도를 달성하지만, GPU 추론 속도가 약 10배 빨라져 계산 효율성이 크게 향상되었다.
• 리아푸노프 기반 기울기 계산은 SVD 기반 기울기보다 더 정확한 모델을 도출하지만, 경계 케이스를 신중히 다룰 경우 최종 정확도의 차이는 거의 없었다.
• 단 한 번의 뉴턴 반복만으로도 기준 B-CNN에 비해 측정 가능한 정확도 향상을 기록하였으며, 계산 비용은 극히 미미했다.
• 행렬 로그 정규화에 대해 SVD 기반 기울기 계산은 수치적으로 불안정하여 이중 정밀도 산술을 사용해도 학습 성능이 열악했지만, 행렬 제곱근 정규화는 단일 정밀도에서도 뛰어난 안정성을 유지했다.
• 제안된 방법은 BoostCNN 및 커널 풀링과 같은 최고 수준의 기존 방법을 능가하거나 동등하게 성능을 내며, 계산 비용은 약간 증가할 뿐이었다.