[논문 리뷰] Compact Bilinear Pooling

Yang Gao, Oscar Beijbom외 2명|arXiv (Cornell University)|2015. 11. 19.

Advanced Neural Network Applications참고 문헌 43인용 수 46

한 줄 요약

이 논문은 고차원 이중선형 특징(최대 250,000D)을 8,192차원으로 압축하면서 성능 손실를 최소화하는 두 가지 컴팩트 이중선형 풀링 방법—텐서 스케치(TS)와 랜덤 매핑(RM)—을 제안한다. 다항식 커널의 커널 기반 분석을 활용하고 엔드 투 엔드 백프로파게이션을 가능하게 함으로써, 이미지 분류 및 소수의 샘플에서 학습하는 문제에서 최신 기술 수준의 성능을 달성하며, 저장 및 구현 면에서도 효율적이다.

ABSTRACT

Bilinear models has been shown to achieve impressive performance on a wide range of visual tasks, such as semantic segmentation, fine grained recognition and face recognition. However, bilinear features are high dimensional, typically on the order of hundreds of thousands to a few million, which makes them impractical for subsequent analysis. We propose two compact bilinear representations with the same discriminative power as the full bilinear representation but with only a few thousand dimensions. Our compact representations allow back-propagation of classification errors enabling an end-to-end optimization of the visual recognition system. The compact bilinear representations are derived through a novel kernelized analysis of bilinear pooling which provide insights into the discriminative power of bilinear pooling, and a platform for further research in compact pooling methods. Experimentation illustrate the utility of the proposed representations for image classification and few-shot learning across several datasets.

연구 동기 및 목표

• 이중선형 풀링 특징의 고차원성(250,000차원 이상)이 분류, 검색, 소수의 샘플에서 학습하는 문제 등 실용적 구현을 어렵게 하므로 이를 해결하기 위함.
• 완전한 이중선형 풀링의 분류 능력을 유지하면서 특징 차원을 극적으로 감소시킨 컴팩트 이중선형 표현을 개발하기 위함.
• 컴팩트 풀링 레이어를 통해 엔드 투 엔드 백프로파게이션을 가능하게 하여 전체 인식 파이프라인의 공동 최적화를 지원하기 위함.
• 이중선형 풀링의 커널 기반 이론적 프레임워크를 제공하여 제안된 컴팩트 방법의 이론적 근거를 마련하고 정당화하기 위함.
• 실세계 응용 사례인 이미지 검색, 임베디드 구현, 소수의 샘플에서 학습하는 문제 등에서 컴팩트 이중선형 풀링의 유용성을 입증하기 위함.

제안 방법

• 이 방법은 텐서 스케치(TS)와 랜덤 매핑(RM)을 사용하여 고차원 이중선형 특징을 랜덤화된 특징 매핑을 통해 8,192차원의 저차원 공간으로 투영한다.
• 특히 이차 다항식 커널과의 연결성을 활용하여 계산적으로 효율적인 명시적 특징 매핑을 유도한다.
• 카르(2012)와 파움(2013)의 연구를 바탕으로 한 다항식 커널 근사화를 위한 랜덤 프로젝션 기반 접근법을 이중선형 풀링 설정에 적응하여 적용한다.
• 랜덤 프로젝션의 기울기를 사용하여 컴팩트 이중선형 레이어를 통한 백프로파게이션을 효율적으로 계산함으로써 딥 네트워크의 엔드 투 엔드 훈련을 가능하게 한다.
• 각 활성화 맵에 스케치 변환를 적용한 후 공간적 위치에 따라 요약 풀링을 수행함으로써 컴팩트 특징의 글로벌 컴팩트 기술자를 확보한다.
• 이 방법은 Caffe와 MatConvNet에 구현되어 있으며, 재현성과 통합을 위해 공개된 코드가 제공된다.

실험 결과

연구 질문

• RQ1 분류 능력에 큰 손실 없이 이중선형 풀링 특징를 수천 차원으로 압축할 수 있는가?
• RQ2 엔드 투 엔드 백프로파게이션을 통해 컴팩트 이중선형 풀링을 딥 네트워크에 통합하여 공동 최적화가 가능한가?
• RQ3 이중선형 풀링의 커널 기반 해석이 컴팩트 표현을 유도하는 체계적인 근거를 제공하는가?
• RQ4 이중선형 풀링은 피셔 벡터와 완전히 연결된 풀링과 같은 최신 기술 수준의 방법과 비교해 이미지 분류 및 소수의 샘플에서 학습하는 문제에서 어떤가?
• RQ5 컴팩트 이중선형 풀링은 소수의 샘플에서 학습하는 저자료 환경에서 성능 향상에 기여하는가?

주요 결과

• 텐서 스케치(TS)를 사용한 컴팩트 이중선형 풀링 방법은 CUB-200-2011 무늬 분류 데이터셋에서 32.29%의 오차율을 기록하여 피셔 벡터를 뛰어넘고, 전체 이중선형 풀링 성능을 8,192차원으로 압축함에도 불구하고 이를 그대로 유지한다.
• MIT Indoor 스코너 데이터셋에서 TS는 1.06%의 오차율을 기록하여 피셔 벡터보다 2.09% 우수했고, 전체 이중선형 풀링 성능을 96.5%의 압축률로 유지했다.
• CUB에서 클래스당 하나의 샘플만을 사용하는 소수의 샘플에서 학습 시 TS는 15.5%의 정확도를 기록하여 전체 이중선형 풀링의 12.7%보다 2.9%p 높은 성능을 보이며 저자료 환경에서 뛰어난 일반화 능력을 입증했다.
• 클래스당 세 개의 샘플을 사용할 경우에도 전체 이중선형 풀링과 TS 간의 성능 격차는 2.5%로 안정적으로 유지되어 낮은 차원의 특징이 일관되게 성능 향상을 이끌어내는 것으로 나타났다.
• 미세조정은 전체 이중선형 풀링과 컴팩트 이중선형 풀링 모두의 성능을 떨어뜨렸으며, 이는 고차원 표현이 작은 데이터셋에서 과적합에 더 민감할 수 있음을 시사한다.
• 특징 차원을 250,000D에서 8,192D로 96.5% 감소시켜 모델 파라미터와 저장 요구량을 극적으로 줄여 구현 및 검색에 있어 효율성을 크게 향상시켰다.