[논문 리뷰] Projection Bank: From High-dimensional Data to Medium-length Binary Codes

Li Liu, Mengyang Yu외 1명|arXiv (Cornell University)|2015. 09. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 고차원 특징(예: 피셔 벡터)을 중간 길이의 이진 코드(1000–10000비트)로 효율적으로 압축하면서 데이터 유사성을 유지하는 새로운 방법인 이진 투영 은행(BPB)을 제안한다. 단일 또는 이차형 투영과는 달리, BPB는 메모리 및 코딩 복잡도를 크게 줄이며 동시에 최신 기술 수준의 검색 및 인식 정확도를 달성하여 대규모 응용에 실용적이다.

ABSTRACT

Recently, very high-dimensional feature representations, e.g., Fisher Vector, have achieved excellent performance for visual recognition and retrieval. However, these lengthy representations always cause extremely heavy computational and storage costs and even become unfeasible in some large-scale applications. A few existing techniques can transfer very high-dimensional data into binary codes, but they still require the reduced code length to be relatively long to maintain acceptable accuracies. To target a better balance between computational efficiency and accuracies, in this paper, we propose a novel embedding method called Binary Projection Bank (BPB), which can effectively reduce the very high-dimensional representations to medium-dimensional binary codes without sacrificing accuracies. Instead of using conventional single linear or bilinear projections, the proposed method learns a bank of small projections via the max-margin constraint to optimally preserve the intrinsic data similarity. We have systematically evaluated the proposed method on three datasets: Flickr 1M, ILSVR2010 and UCF101, showing competitive retrieval and recognition accuracies compared with state-of-the-art approaches, but with a significantly smaller memory footprint and lower coding complexity.

연구 동기 및 목표

• 대규모 시각 응용에서 피셔 벡터와 같은 매우 고차원 표현의 높은 계산 및 저장 비용을 해결하기 위해.
• 정확도를 손상시키지 않고 고차원 데이터를 중간 길이의 이진 코드(1000–10000비트)로 효율적으로 임bedding하기 위해.
• 기존의 선형 또는 이차형 투영 방법과 비교해 메모리 사용량과 코딩 복잡도를 줄이기 위해.
• 소규모 투영의 최대 마진 제약을 갖춘 은행을 통해 데이터의 본질적 유사성을 유지하기 위해.
• 최소한의 자원 오버헤드로도 검색 및 인식 작업에서 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 이 방법은 이진 코드 공간에서 데이터 유사성을 최적으로 유지하기 위해 최대 마진 제약을 통해 소규모 투영 행렬의 은행을 학습한다.
• 단일 큰 투영 행렬을 사용하는 대신, BPB는 저장 및 계산을 줄이는 작고 학습 가능한 투영 집합을 활용한다.
• 유사한 데이터 포인트 간의 의미적 유사성을 유지하기 위해 마진 기반 최적화 목표를 사용해 투영 은행을 훈련한다.
• 비선형 관계를 모델링하기 위해 RBF 커널을 사용하는 커널화된 변형인 KBPB가 BPB를 확장한다.
• 코딩 단계에서는 학습된 투영 은행을 새로운 샘플에 적용하여 저비용의 이진 코드를 생성한다.
• 선형 및 비선형 투영을 모두 평가하며, 파라미터는 교차 검증을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 소규모 최대 마진 투영의 은행은 고차원 특징을 중간 길이의 이진 코드로 효과적으로 압축하면서 의미적 유사성을 유지할 수 있는가?
• RQ2 BPB는 ITQ 및 BPBC와 같은 최신 기술 수준의 방법과 비교해 정확도, 메모리 사용량, 코딩 복잡도 측면에서 어떻게 성능을 내는가?
• RQ3 모든 데이터셋에서 안정적인 성능을 내기 위해 최적의 기저 샘플 수와 정규화 파라미터는 무엇인가?
• RQ4 압축된 코드를 사용할 때 BPB는 비지도 검색 및 지도 기반 인식 작업 모두에서 높은 정확도를 유지할 수 있는가?
• RQ5 커널화된 변형인 KBPB는 복잡한 고차원 데이터에서 성능을 추가로 향상시킬 수 있는가?

주요 결과

• BPB는 Flickr 1M, ILSVR2010, UCF101에서 중간 코드 길이(1000–10000비트)에서 ITQ 및 BPBC를 능가하는 경쟁력 있는 검색 정확도를 달성했다.
• UCF101 데이터셋에서 KBPB 2는 17040비트 코드로 82.18%의 행동 인식 정확도를 기록했으며, 원본 FV(80.33%) 및 기타 압축 방법을 초월했다.
• BPB는 ITQ 대비 코딩 복잡도를 90% 이상 감소시켰으며, 10000비트 코드에 대해 단일 행렬 기반으로 1.7×10^9번의 곱셈 연산만을 요구했고, ITQ는 1.7×10^9번을 요구했다.
• 투영에 대한 메모리 사용량은 극적으로 감소했으며, BPB는 RR+PQ 및 ITQ보다 훨씬 적은 저장소를 필요로 했고, 10000비트를 초과하면 ITQ는 실현 가능하지 않았다.
• 커널화된 KBPB 변형은 모든 코드 길이에서 최고의 성능을 기록했으며, 최소 1000개의 기저 샘플을 사용할 경우 안정적인 결과를 보였다.
• 파라미터 민감도 분석 결과, Flickr 1M에서는 λ ∈ (10⁻¹, 1)에서, ILSVR2010에서는 λ ∈ (1, 10)에서 최적의 성능가를 달성했다.