[논문 리뷰] Learning to Hash with Binary Deep Neural Network

Thanh-Toan Do, Anh-Dzung Doan외 1명|arXiv (Cornell University)|2016. 07. 18.

Advanced Image and Video Retrieval Techniques인용 수 34

한 줄 요약

이 논문은 비지도 및 지도 학습 해싱을 위한 이진 딥 신경망(BDNN)을 제안하며, 이진, 독립적이고 균형 잡힌 코드를 강제하기 위해 제약 조건이 부가된 은닉층을 통해 직접 이진 코드를 생성한다. 이진 제약 조건의 완화를 피하고 철저한 완화를 동반한 교대 최적화를 사용함으로써, CIFAR10, MNIST, NUS-WIDE에서 최신 기술(SOTA) 성능을 달성하여 mAP 및 precision@2에서 이전의 딥 해싱 및 CNN 기반 방법들을 능가한다.

ABSTRACT

This work proposes deep network models and learning algorithms for unsupervised and supervised binary hashing. Our novel network design constrains one hidden layer to directly output the binary codes. This addresses a challenging issue in some previous works: optimizing non-smooth objective functions due to binarization. Moreover, we incorporate independence and balance properties in the direct and strict forms in the learning. Furthermore, we include similarity preserving property in our objective function. Our resulting optimization with these binary, independence, and balance constraints is difficult to solve. We propose to attack it with alternating optimization and careful relaxation. Experimental results on three benchmark datasets show that our proposed methods compare favorably with the state of the art.

연구 동기 및 목표

• 비연속적이고 NP-완전한 이진 해싱 문제를 최적화하는 데 도전하기 위해, 네트워크 계층을 직접 이진 코드를 출력하도록 제약 조건을 걸어 이론적으로 이진 코드를 생성하는 것.
• 이론적으로 이진 코드의 독립성과 균형을 이완 또는 근사 없이 강제함으로써 학습 중에 유지하는 것.
• 효율적인 시각적 검색을 위해 유사성 유지 기능을 목적 함수에 통합하는 것.
• 하나의 디지털 제약 조건을 효과적으로 다룰 수 있는 스케일러블 최적화 프레임워크를 개발하기 위해 교대 최적화와 이론적 이완을 사용하는 것.
• 레이블 정보를 활용하여 의미적 유사성을 유지함으로써 비지도 방법을 지도 학습 해싱으로 확장하는 것.

제안 방법

• 네트워크 아키텍처는 {-1, 1}^L 범위의 이진 코드를 직접 출력하는 전용 은닉층을 포함하며, sgn 또는 임계값 처리를 통한 후처리 이진화가 필요 없어진다.
• 목적 함수는 유사성 유지, 엄격한 독립성(상관 없는 비트), 균형성(각 비트가 ±1일 확률이 50%)을 위한 항을 포함한다.
• 새로운 최적화 전략은 네트워크 가중치와 이진 코드 간의 교대 최적화를 사용하며, 부호 함수의 연속적 이론적 이론화를 통해 이진 제약 조건을 완화한다.
• 비미분 가능 함수인 sgn을 처리하기 위해 재구성 기법을 사용하여 backpropagation 중에 이를 근사한다.
• 지도 학습 해싱의 경우, 손실 함수에 레이블 기반의 쌍별 유사성을 통합하여 의미적 관계를 유지한다.
• 학습 과정은 확률적 경사 하강법을 통해 네트워크 가중치를 업데이트하고, 연속적 출력을 가장 가까운 이진 코드로 투영하는 것으로 번갈아가며 수행된다.

실험 결과

연구 질문

• RQ1 딥 네트워크 계층으로부터 직접 이진 출력을 생성하는 것이, 이론적 이론화나 후처리 이진화에 비해 해싱 성능을 향상시킬 수 있는가?
• RQ2 엔드 투 엔드 학습 중에 이론적이고 엄격하게 이진 코드의 독립성과 균형을 유지할 수 있는가?
• RQ3 유사성 유지, 독립성, 균형성의 세 가지 성질을 동시에 통합하면 검색 정확도가 향상되는가?
• RQ4 제안된 최적화 프레임워크는 이진, 독립적이고 균형 잡힌 제약 조건이 있는 이산 해싱의 NP-완전성 문제를 효과적으로 다룰 수 있는가?
• RQ5 mAP 및 precision@2 기준으로 제안된 방법은 최신 기술(SOTA)의 딥 해싱 및 CNN 기반 해싱 방법보다 어떻게 비교되는가?

주요 결과

• CIFAR10에서 SH-BDNN은 L=32일 때 69.62%의 mAP를 기록하여, 동일한 코드 길이에서 SDH(67.63%), KSH(65.76%), BRE(44.89%)를 능가한다.
• MNIST에서 SH-BDNN은 L=32일 때 95.51%의 precision@2를 기록하여, 낮은 코드 길이에서 SDH(94.43%)와 ITQ-CCA(84.57%)를 크게 능가한다.
• CNN 기반 방법인 DSRH와 DRSCH와 비교하여, SH-BDNN은 CIFAR10에서 L=32일 때 66.22%의 mAP를 기록하여 DRSCH(63.05%)와 DSRH(61.77%)를 초월한다.
• CIFAR10에서 L=8일 때 제안된 방법은 54.12%의 mAP를 기록하여, 동일한 낮은 비트 길이에서 SDH(31.60%)와 BRE(23.84%)를 능가한다.
• 모든 코드 길이에서 뛰어난 성능을 유지하며, 모든 벤치마크 데이터셋에서 mAP 및 precision@2 모두에서 일관된 우수성을 보인다.
• 제거 실험 결과는 엄격한 독립성과 균형을 강제함으로써 검색 정확도가 향상되며, 특히 낮은 비트 길이에서 두드러진다.