[논문 리뷰] Low-rank Bilinear Pooling for Fine-Grained Classification

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|2016. 11. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 4

한 줄 요약

이 논문은 분류에 필요한 고차원 이중선형 특징 계산을 저랭크 이중선형 분류기로 대체함으로써 컴act하고 효율적인 저랭크 이중선형 풀링(LRBP)을 제안한다. 이는 프로베니우스 노름을 점수 함수로 사용한다. 모델은 고유한 부분 또는 관점 정보 없이 카테고리 레이블만을 사용하여 벤치마크 데이터셋에서 최신 기준 성능을 달성하며, 이는 이전 방법들보다 1~2개의 지수 차수 작다.

ABSTRACT

Pooling second-order local feature statistics to form a high-dimensional bilinear feature has been shown to achieve state-of-the-art performance on a variety of fine-grained classification tasks. To address the computational demands of high feature dimensionality, we propose to represent the covariance features as a matrix and apply a low-rank bilinear classifier. The resulting classifier can be evaluated without explicitly computing the bilinear feature map which allows for a large reduction in the compute time as well as decreasing the effective number of parameters to be learned. To further compress the model, we propose classifier co-decomposition that factorizes the collection of bilinear classifiers into a common factor and compact per-class terms. The co-decomposition idea can be deployed through two convolutional layers and trained in an end-to-end architecture. We suggest a simple yet effective initialization that avoids explicitly first training and factorizing the larger bilinear classifiers. Through extensive experiments, we show that our model achieves state-of-the-art performance on several public datasets for fine-grained classification trained with only category labels. Importantly, our final model is an order of magnitude smaller than the recently proposed compact bilinear model, and three orders smaller than the standard bilinear CNN model.

연구 동기 및 목표

• 세밀한 분류에서 표준 이중선형 풀링의 높은 계산 비용과 메모리 소비 문제를 해결하기 위해 고차원 특징을 생성하는 것을 목표로 한다.
• 명시적인 특징 맵 계산을 저랭크 이중선형 분류기로 대체하여 정확도를 유지하면서 모델 크기와 추론 시간을 줄인다.
• 공동 분해 기법을 도입하여 각 클래스별 분류기를 공유 요소와 클래스별 고유 요소로 분해함으로써 메모리 제약이 있는 장치에서의 효율적 훈련 및 배포를 가능하게 한다.
• 부분 또는 관절점 주석과 같은 고비용 정보 없이도 카테고리 수준의 지도만으로 최신 기준의 성능을 달성한다.

제안 방법

• 이중선형 특징 맵을 공분산 행렬로 표현하고, 이중선형 분류기에 저랭크 제약을 적용하여 학습 가능한 파라미터 수를 줄인다.
• 프로젝션된 특징의 프로베니우스 노름을 분류 점수로 사용하여, 전체 이중선형 특징 벡터를 명시적으로 계산하지 않더라도 빠른 추론이 가능하도록 한다.
• 공동 분해 기법을 도입하여 연합 분류기를 공유 저랭크 요소와 고밀도의 클래스별 항목으로 분해함으로써 모델을 추가로 압축한다.
• 두 개의 컨볼루션 레이어를 사용해 엔드 투 엔드 학습 가능한 아키텍처로 공동 분해를 구현하며, 별도의 사전 훈련 없이 PCA를 이용해 초기화한다.
• 대칭 이중선형 형식을 활용하여 구조적 정보를 유지하면서 효율적인 최적화와 파라미터 공유를 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전한 이중선형 풀링에 비해 성능은 유사하거나 향상시키면서 모델 크기와 추론 비용을 극적으로 줄일 수 있는 저랭크 이중선형 분류기가 가능한가?
• RQ2 프로베니우스 노름을 점수 함수로 사용할 경우, 고차원 이중선형 특징을 명시적으로 계산하지 않더라도 효율적인 추론이 가능한가?
• RQ3 분류기 파라미터의 공동 분해가 세밀한 분류 성능을 유지하면서 모델을 추가로 압축할 수 있는가?
• RQ4 부분 또는 관절점 주석이 아닌 카테고리 수준의 지도만으로 훈련된 모델이 부분 또는 관절점 주석에 의존하는 방법을 능가할 수 있는가?

주요 결과

• 제안된 LRBP 모델은 CUB-200-2011와 같은 여러 공개 세밀한 분류 벤치마크에서 부분 또는 관절점 주석 없이도 최신 기준 성능을 달성한다.
• 최종 모델은 압축된 이중선형 모델 [8]보다 1~2개의 지수 차수 작고, 표준 이중선형 CNN [20]보다는 3개의 지수 차수 작다.
• 특히 채널 수가 공간 해상도를 초과할 경우, 이중선형 특징을 명시적으로 계산하지 않음으로써 빠른 추론이 가능해진다.
• 질적 시각화 결과는 모델이 부분 주석 없이도 자연스럽게 새의 특징적인 부분(예: 빨간 날개, 노란 머리)에 집중하는 것으로 나타났다.
• PCA를 통한 초기화 후 엔드 투 엔드 미세조정을 통해 사전 훈련이 필요 없이 강력한 성능을 달성하며, 최소한의 하이퍼파라미터 튜닝으로도 우수한 성능을 기록한다.