[논문 리뷰] Towards Optimal Discrete Online Hashing with Balanced Similarity

Mingbao Lin, Rongrong Ji외 4명|arXiv (Cornell University)|2019. 01. 29.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 5

한 줄 요약

이 논문은 데이터 불균형과 양자화 오차 문제를 해결하기 위해 직접 이산 이진 코드를 최적화하는 균형 잡힌 유사도 제작 방식을 사용하는 새로운 지도 기반 온라인 해싱 방법인 BSODH를 제안한다. 비대칭 그래프 정규화와 유사 쌍 및 이질 쌍에 대한 균형 잡힌 요소를 통합한 이산 최적화를 통해, CIFAR-10, Places-205, MNIST에서 최신 기술 수준(SOTA) 성능을 달성하며, 64비트에서 최대 0.814의 Precision@H2를 기록한다.

ABSTRACT

When facing large-scale image datasets, online hashing serves as a promising solution for online retrieval and prediction tasks. It encodes the online streaming data into compact binary codes, and simultaneously updates the hash functions to renew codes of the existing dataset. To this end, the existing methods update hash functions solely based on the new data batch, without investigating the correlation between such new data and the existing dataset. In addition, existing works update the hash functions using a relaxation process in its corresponding approximated continuous space. And it remains as an open problem to directly apply discrete optimizations in online hashing. In this paper, we propose a novel supervised online hashing method, termed Balanced Similarity for Online Discrete Hashing (BSODH), to solve the above problems in a unified framework. BSODH employs a well-designed hashing algorithm to preserve the similarity between the streaming data and the existing dataset via an asymmetric graph regularization. We further identify the "data-imbalance" problem brought by the constructed asymmetric graph, which restricts the application of discrete optimization in our problem. Therefore, a novel balanced similarity is further proposed, which uses two equilibrium factors to balance the similar and dissimilar weights and eventually enables the usage of discrete optimizations. Extensive experiments conducted on three widely-used benchmarks demonstrate the advantages of the proposed method over the state-of-the-art methods.

연구 동기 및 목표

• 기존 방법이 스트리밍 데이터와 기존 데이터셋 간의 상관관계를 忽시하는 온라인 해싱의 업데이트 불균형 문제를 해결한다.
• 연속 공간에서의 근사화가 아닌 직접적인 이산 최적화를 통해 최적화 비효율성을 해소한다.
• 비대칭 그래프 정규화로 인한 온라인 환경에서의 데이터 불균형 문제를 해결하여 일관된(비구분 가능한) 이진 코드를 방지한다.
• 새로운 데이터와 기존 데이터 간의 유사성 유지와 이산 최적화를 통합한 통합 프레임워크를 개발한다.
• 최소한의 양자화 오차와 높은 구분 능력을 지닌 효과적이고 효율적이며 확장 가능한 온라인 해싱을 가능하게 한다.

제안 방법

• 해밍 공간에서 스트리밍 데이터와 기존 데이터셋 간의 유사성을 유지하기 위해 비대칭 그래프 정규화를 사용한다.
• 연속적 근사화에서 발생하는 양자화 오차를 제거하기 위해 이진 코드 위에서 직접 이산 최적화 문제를 제작한다.
• 유사 쌍과 이질 쌍의 영향을 균형 있게 조절하기 위해 두 개의 균형 요소를 포함한 균형 잡힌 유사도 측정법을 제안한다.
• 균형 잡힌 유사도 프레임워크 하에서 이진 최적화 문제를 해결하기 위해 이산 순환 좌표 강하(DCC) 방법을 도입한다.
• 온라인 방식으로 새로운 데이터 배치와 기존 데이터셋 간의 비대칭 그래프를 동적으로 구축한다.
• 이산 최적화를 온라인 학습 파이프라인에 통합하여 해시 함수와 코드를 동시에 업데이트한다.

실험 결과

연구 질문

• RQ1 데이터 불균형 문제에도 불구하고 이산 최적화가 온라인 해싱에 효과적으로 적용될 수 있는가?
• RQ2 비대칭 그래프에서 비균형 유사도에 비해 제안된 균형 잡힌 유사도 측정법이 코드의 구분 능력을 어떻게 향상시키는가?
• RQ3 데이터 불균형은 온라인 해싱에서 이진 코드의 수렴성과 품질에 어떤 영향을 미치는가?
• RQ4 직접적인 이산 최적화가 연속적 근사 기반 방법에 비해 정확성과 효율성 측면에서 온라인 환경에서 슈퍼어리어를 달성할 수 있는가?
• RQ5 균형 잡힌 유사도 제작 방식의 균형 요소가 학습된 해시 함수의 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• 64비트 코드 길이에서 MNIST에서 BSODH는 Precision@H2가 0.814를 기록하며, 파rameter σt를 확장하는 것에 비해 2.5배 이상 뛰어난 성능을 보였다.
• 제안된 균형 잡힌 유사도는 t-SNE 시각화에서 10개의 구분 가능한 클러스터를 형성하는 데 기여했으나, 비균형 유사도의 경우 데이터 불균형으로 인해 오직 4개의 클러스터만 형성되었다.
• 이산 최적화 과정은 각 새로운 데이터 배치당 1~2회 반복 내에 수렴하여 온라인 학습에서 높은 효율성과 신속한 적응 능력을 입증했다.
• 모든 벤치마크—CIFAR-10, Places-205, MNIST—에서 높은 성능 유지를 유지함으로써, 이 방법의 강건성과 일반화 능력을 확인했다.
• σt를 10,000으로 확장한 결과는 열악한 성능(0.341 Precision@H2)을 보였으며, 이는 히퍼파라미터 튜닝의 한계를 드러내며 제안된 균형 잡힌 유사도의 우수성을 입증했다.
• 이진 코드 B_s^t와 B_e^t의 수렴은 안정적이고 신속하며, 초기 단계 이후에는 단 한 번의 반복만으로도 충분하여 이 방법의 확장 가능성과 타당성을 확인했다.