[논문 리뷰] Minimizing FLOPs to Learn Efficient Sparse Representations

Biswajit Paria, Chih‐Kuan Yeh외 4명|arXiv (Cornell University)|2020. 04. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 81인용 수 7

한 줄 요약

이 논문은 레트리ieval 중 부동소수점 연산(FLOPs)을 직접적으로 정규화함으로써 고차원이고 희소적인 임베딩을 학습하는 방법을 제안한다. 연속적 근사화를 통해 FLOPs 수를 직접적으로 정규화함으로써, 밀집 임베딩보다 최대 50배 빠른 추론 속도를 달성하면서도 경쟁 가능한 정확도를 유지한다. 이는 차원 간 균일한 비영 값 분포를 장려함으로써 달성되며, 기존의 기준들보다 속도-정확도 트레이드오프에서 뛰어난 성능을 보인다.

ABSTRACT

Deep representation learning has become one of the most widely adopted approaches for visual search, recommendation, and identification. Retrieval of such representations from a large database is however computationally challenging. Approximate methods based on learning compact representations, have been widely explored for this problem, such as locality sensitive hashing, product quantization, and PCA. In this work, in contrast to learning compact representations, we propose to learn high dimensional and sparse representations that have similar representational capacity as dense embeddings while being more efficient due to sparse matrix multiplication operations which can be much faster than dense multiplication. Following the key insight that the number of operations decreases quadratically with the sparsity of embeddings provided the non-zero entries are distributed uniformly across dimensions, we propose a novel approach to learn such distributed sparse embeddings via the use of a carefully constructed regularization function that directly minimizes a continuous relaxation of the number of floating-point operations (FLOPs) incurred during retrieval. Our experiments show that our approach is competitive to the other baselines and yields a similar or better speed-vs-accuracy tradeoff on practical datasets.

연구 동기 및 목표

• 대규모 근접 이웃 검색에서 고차원 밀집 임베딩의 계산 비효율성을 해결하기 위해.
• 희소성과 효율적인 희소 행렬 곱셈을 활용하여 표현 능력을 유지하면서 검색 속도를 향상시키기 위해.
• 차원 간 균일한 비영 값 분포를 장려함으로써, 학습 중에 FLOPs를 직접 최소화하기 위한 미분 가능한 정규화 함수를 제안하기 위해.
• LSH, PCA, PQ, SDH와 같은 기존 방법들보다 더 나은 속도-정확도 트레이드오프를 달성하기 위해.
• 희소성만으로는 부족하며, 비영 값의 균일한 분포가 최대 속도 향상에 필수적임을 입증하기 위해.

제안 방법

• 검색 중 희소 행렬 곱셈의 정확한 FLOP 수를 연속적 근사화하여, 기울기 기반 최적화를 가능하게 한다.
• 차원 간 비영 값 분포의 비균형을 방지하기 위한 새로운 정규화 함수 $\widetilde{\mathcal{F}}$ 를 도입한다.
• 표준적인 메트릭 학습 손실(예: 대비 손실 또는 트리플렛 손실)과 FLOP 정규화 함수를 결합하여 의미적 유사성을 유지한다.
• 기울기 하강법을 사용하여 메트릭 학습과 FLOP 최소화를 동시에 최적화하며, 균일한 희소성 패턴을 선호하는 임베딩을 유도한다.
• 균일성 가정 하에 유도된, 희소성과 비영 값 분포에 기반한 기대 FLOPs에 대한 분석적 표현을 사용한다.
• ResNet과 MobileNet 백본을 사용하여 MegaFace와 CIFAR-100에서 LSH, PCA, PQ, SDH와의 비교를 통해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 임베딩 학습 중에 FLOPs를 직접 최소화함으로써 검색 효율성을 향상시킬 수 있는가?
• RQ2 희소 임베딩의 비영 항목 분포가 희소성 수준을 초월해 검색 속도에 상당한 영향을 미치는가?
• RQ3 FLOPs의 연속적 근사화가 엔드 투 엔드 학습에서 효과적인 정규화자로 사용될 수 있는가?
• RQ4 제안된 방법은 LSH, PCA, PQ, SDH와 같은 표준 기준들에 비해 속도-정확도 트레이드오프 측면에서 어떻게 비교되는가?
• RQ5 차원 간 비영 값의 균일한 분포가 검색 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 $\widetilde{\mathcal{F}}$ 정규화 함수는 $\ell_1$ 정규화보다도 하위 최적성 비율 $R_{\text{sub}}$ 가 1에 더 가까워, 더 균일한 비영 값 분포를 나타낸다.
• ResNet에서 $\ell_1$ 정규화는 매우 비최적의 비영 값 분포를 유도하지만, $\widetilde{\mathcal{F}}$ 는 차원 간 균형 잡힌 희소성 분포를 유지한다.
• 이 방법은 밀집 임베딩보다 최대 50배 빠른 검색 속도를 달성하면서도 정확도 손실을 최소화하며, LSH, PCA, PQ, SDH보다 속도-정확도 트레이드오프에서 뛰어난 성능을 보인다.
• 속도 향상은 희소성과 비례하며, 비영 값이 균일하게 분포할 경우에 최대가 되며, 이는 FLOPs의 제곱형 감소를 확인한다.
• 트레이드오프 곡선은 $\widetilde{\mathcal{F}}$-정규화된 모델이 기준들보다 더 낮은 쿼리 시간에 더 높은 리콜을 달성함을 보여주며, 특히 고희소성 수준에서 두드러진다.
• 재랭킹 없이도 이 방법은 강력한 성능을 유지하며, FLOP 정규화가 내재된 검색 효율성을 향상시킨다는 것을 확인한다.