[논문 리뷰] Multipartite Pooling for Deep Convolutional Neural Networks

Arash Shahriari, Fatih Porikli|arXiv (Cornell University)|2017. 10. 20.

Machine Learning and Data Classification참고 문헌 32인용 수 8

한 줄 요약

이 논문은 피셔 판별 분석을 사용하여 특징을 클래스 스케일된 공간으로 투영함으로써 데이터 기반의 판별 인식 순위 매기기 기반의 새로운 딥러닝 풀링 전략인 멀티파트라이트 풀링을 제안한다. 풀링 윈도우 내에서 구분 점수를 계산하고 상위 점수를 받은 특징을 선택함으로써, MNIST, CIFAR-10, CIFAR-100, SVHN 벤치마크에서 최대 풀링, 평균 풀링, 확률적 풀링을 일관되게 능가하는 뛰어난 일반화 성능을 달성한다.

ABSTRACT

We propose a novel pooling strategy that learns how to adaptively rank deep convolutional features for selecting more informative representations. To this end, we exploit discriminative analysis to project the features onto a space spanned by the number of classes in the dataset under study. This maps the notion of labels in the feature space into instances in the projected space. We employ these projected distances as a measure to rank the existing features with respect to their specific discriminant power for each individual class. We then apply multipartite ranking to score the separability of the instances and aggregate one-versus-all scores to compute an overall distinction score for each feature. For the pooling, we pick features with the highest scores in a pooling window instead of maximum, average or stochastic random assignments. Our experiments on various benchmarks confirm that the proposed strategy of multipartite pooling is highly beneficial to consistently improve the performance of deep convolutional networks via better generalization of the trained models for the test-time data.

연구 동기 및 목표

• 기존의 최대 풀링, 평균 풀링, 확률적 풀링 등의 방법이 판별 인식 능력이 부족하고 학습 및 테스트 단계 간 일반화 성능이 떨어지는 한계를 해결한다.
• 클래스 레이블에서 학습된 데이터 기반의 공통 투영을 통해 학습 및 테스트 풀링 통계를 연결함으로써 모델의 일반화 성능을 향상시킨다.
• 클래스별 특징의 판별 능력에 기반해 조건부로 특징을 순위 매기는 결정론적이고 적응형 풀링 전략을 개발한다.
• 공통 투영 행렬을 통해 학습 및 테스트 단계에서 동일한 특징 선택 기준을 유지함으로써 학습 오차와 테스트 오차 간 격차를 줄인다.
• 판별 점수 기반의 풀링이 더 견고하고 일반화 가능한 딥 네트워크 모델을 만드는 데 기여함을 입증한다.

제안 방법

• 피셔 판별 분석을 사용해 특징을 클래스 수에 해당하는 낮은 차원의 공간으로 투영함으로써 클래스 인식 가능한 표현을 가능하게 한다.
• 모든 클래스와의 쌍별 구분 점수를 계산하기 위해 일대다 랭킹을 사용하고, 이를 특징당 종합적인 구분 점수로 집계한다.
• 모든 클래스에 걸쳐 특징의 판별 능력에 기반해 분리 가능성 점수를 계산하기 위해 멀티파트라이트 랭킹을 적용한다.
• 계산된 구분 점수에 기반해 각 풀링 윈도우 내에서 상위 점수를 받은 특징을 선택함으로써 최대/평균/확률적 선택 방식을 대체한다.
• 학습 세트에서 Kullback-Leibler 발산을 사용해 투영 행렬 A를 학습함으로써 특징 분포를 정렬하고 학습 및 테스트 풀링 간 일관성을 확보한다.
• 테스트 시에도 동일한 투영 행렬 A를 사용하여 학습 및 추론 간 통계적 일관성을 유지함으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 클래스 수준의 판별 정보를 통합한 풀링 전략이 딥 컨volution 네트워크의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 멀티파트라이트 풀링은 최대 풀링, 평균 풀링, 확률적 풀링과 비교해 테스트 정확도 및 일반화 갭 측면에서 어떻게 성능을 내는가?
• RQ3 데이터 기반의 판별 기반 특징 순위 매기기가 학습 및 테스트 성능 간 격차를 줄이는 데 효과적인가?
• RQ4 특히 CIFAR-100과 같이 클래스 수가 많은 데이터셋에서 제안된 방법이 과적합을 얼마나 효과적으로 방지하는가?
• RQ5 확률적 풀링과 비교해 멀티파트라이트 풀링의 결정론적 성격이 수치적 안정성과 성능 일관성 측면에서 어떤가?

주요 결과

• 멀티파트라이트 풀링은 MNIST, CIFAR-10, CIFAR-100, SVHN을 포함한 모든 테스트 데이터셋에서 최대 풀링, 평균 풀링, 확률적 풀링을 일관되게 능가한다.
• CIFAR-10에서 멀티파트라이트 풀링은 학습 및 검증 세트 간 테스트 오차 격차를 줄여 최대 풀링 대비 더 뛰어난 일반화 성능을 보여준다.
• 클래스 수가 더 많은 CIFAR-100에서는 멀티파트라이트 풀링이 여전히 최대 풀링보다 낮은 테스트 오차를 기록하여 클래스 복잡성에 대한 강건성을 입증한다.
• SVHN에서는 멀티파트라이트 풀링이 확률적 풀링 수준의 테스트 오차를 달성하지만, 결정론적 성격 덕분에 더 높은 수치적 안정성을 확보한다.
• 멀티파트라이트 풀링의 학습 및 테스트 손실 곡선은 최대 풀링보다 훨씬 유사하게 일치함을 확인하여 과적합 감소와 일반화 향상을 확인한다.
• 동일한 투영 행렬과 점수 함수를 학습 및 추론 단계에서 사용함으로써 일반화 갭을 효과적으로 줄였다.