[논문 리뷰] On Binary Embedding using Circulant Matrices

Felix X. Yu, Aditya Bhaskara외 3명|arXiv (Cornell University)|2015. 11. 20.

Face and Expression Recognition참고 문헌 40인용 수 7

한 줄 요약

이 논문은 고차원 데이터의 이진 임베딩을 가속화하기 위해 구조적 순환 행렬을 사용하는 순환 이진 임베딩(Circulant Binary Embedding, CBE)을 제안한다. 푸리에 변환(FFT)을 활용하여 시간 복잡도를 𝒪(dk)에서 𝒪(d log d)로, 공간 복잡도를 𝒪(dk)에서 𝒪(d)로 감소시켜, 비구조적 방법에 비해 성능 손실가능성이 거의 없는 최신 기술 수준의 속도를 달성한다. 또한 데이터에 기반한 최적화를 통해 정확도 향상을 가능하게 한다.

ABSTRACT

Binary embeddings provide efficient and powerful ways to perform operations on large scale data. However binary embedding typically requires long codes in order to preserve the discriminative power of the input space. Thus binary coding methods traditionally suffer from high computation and storage costs in such a scenario. To address this problem, we propose Circulant Binary Embedding (CBE) which generates binary codes by projecting the data with a circulant matrix. The circulant structure allows us to use Fast Fourier Transform algorithms to speed up the computation. For obtaining $k$-bit binary codes from $d$-dimensional data, this improves the time complexity from $O(dk)$ to $O(d\log{d})$, and the space complexity from $O(dk)$ to $O(d)$. We study two settings, which differ in the way we choose the parameters of the circulant matrix. In the first, the parameters are chosen randomly and in the second, the parameters are learned using the data. For randomized CBE, we give a theoretical analysis comparing it with binary embedding using an unstructured random projection matrix. The challenge here is to show that the dependencies in the entries of the circulant matrix do not lead to a loss in performance. In the second setting, we design a novel time-frequency alternating optimization to learn data-dependent circulant projections, which alternatively minimizes the objective in original and Fourier domains. In both the settings, we show by extensive experiments that the CBE approach gives much better performance than the state-of-the-art approaches if we fix a running time, and provides much faster computation with negligible performance degradation if we fix the number of bits in the embedding.

연구 동기 및 목표

• 긴 코드 길이에 따라 성능이 급격히 떨어지는 전통적인 이진 임베딩 방법의 높은 계산 및 저장 비용을 해결하기 위해.
• 이진 임베딩에서 사용되는 비구조적 랜덤 프로젝션 행렬의 대안으로 행렬의 구조를 활용해 빠르고 낮은 메모리 사용을 달성하기 위해.
• 이중 행렬을 통해 이진 코드를 효율적으로 계산하면서도 유사도 검색에 필수적인 각도 유지 성질을 유지하기 위해.
• 랜덤 초기화를 초월해 임베딩 품질을 향상시키기 위한 데이터 기반 최적화 프레임워크를 설계하기 위해.
• 고정된 시간 또는 비트 길이 제약 조건 하에서, 구조적 순환 프로젝션 방식이 비구조적 및 최신 기술 수준의 방법보다 성능을 동등하거나 초월할 수 있는지 입증하기 위해.

제안 방법

• 입력 벡터 x를 d차원에서 k비트 이진 코드로 매핑하기 위해 순환 행렬 A를 사용하며, h(x) = sign(Ax)로 정의한다. 이 행렬은 순환적 구조를 지녀 FFT 가속화가 가능하다.
• 순환 행렬의 고유기저를 활용해 행렬-벡터 곱 연산을 𝒪(dk)에서 𝒪(d log d)로 감소시키기 위해 빠른 푸리에 변환(FFT)을 활용한다.
• 순환 행렬의 첫 번째 행만 저장함으로써 공간 복잡도를 𝒪(dk)에서 𝒪(d)로 감소시킨다.
• 두 가지 변형을 제안한다: CBE-rand(랜덤으로 초기화된 순환 행렬)와 CBE-opt(시간-주파수 교차 최적화를 통해 학습된 파rameter).
• 시간 도메인과 주파수 도메인에서 번갈아가며 목적 함수를 최소화하는 새로운 최적화 알고리즘을 설계하여 데이터 기반 순환 프로젝션을 학습한다.
• 투영된 벡터에 부호 함수를 적용하여 {−1, 1}^k 범주에서 이진 코드를 생성함으로써 입력 벡터 간의 각도 관계를 유지한다.

실험 결과

연구 질문

• RQ1 항목 간 의존성이 존재하는 순환 행렬이, 이진 임베딩에서 랜덤 프로젝션 행렬의 각도 유지 성질을 유지할 수 있는가?
• RQ2 순환 행렬에 대해 FFT를 적용함으로써 성능 손실 없이 시간 및 공간 복잡도를 크게 감소시킬 수 있는가?
• RQ3 순환 행렬의 파라미터를 데이터 기반으로 학습함으로써 랜덤 초기화에 비해 성능 향상을 달성할 수 있는가?
• RQ4 고정된 시간 또는 비트 길이 제약 조건 하에서, FBE, FJLT, ITQ와 같은 최신 기술 수준의 방법과 비교해 CBE의 속도 및 검색 정확도는 어떠한가?
• RQ5 CBE의 성능은 검색 및 분류와 같은 다양한 데이터셋과 작업에 대해 안정적인가?

주요 결과

• CBE-rand는 FBE 및 FJLT와 유사하거나 뛰어난 검색 성능를 보이며, FFT 가속화 덕분에 훨씬 더 빠른 속도를 기록한다.
• CBE-opt는 평가된 모든 데이터셋에서 최고의 재현율을 기록하며, 특히 고비트 길이에서 ITQ 및 FBE를 뛰어넘는다.
• Flickr-25600 데이터셋에서 CBE-rand는 FBE 및 FJLT와 동등하거나 뛰어난 성능를 보이며, 훨씬 작은 계산 자원을 소비한다.
• 25,600비트 코드를 사용할 때 ImageNet-25600에서 CBE는 LSH 및 이중선형 코드와 유사한 높은 분류 정확도(24.55% ± 0.30)를 유지하면서도 훨씬 더 빠른 속도를 기록한다.
• CBE의 시간 복잡도는 𝒪(dk)에서 𝒪(d log d)로 감소하였고, 공간 복잡도는 𝒪(dk)에서 𝒪(d)로 감소하여 고차원 데이터 처리를 효율적으로 가능하게 한다.
• 이론적 분석을 통해 랜덤화된 CBE가 순환 행렬의 항목 간 의존성에도 불구하고 존슨-린든스트라우스 유형 임베딩의 각도 유지 성질을 유지함을 확인하였다.