[논문 리뷰] Supervised Hashing with Deep Neural Networks

Ziming Zhang, Yuting Chen외 1명|arXiv (Cornell University)|2015. 11. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 ADMM에 영감을 받은 새로운 학습 알고리즘인 Very Deep Supervised Hashing(VDSH)를 제안한다. 이 알고리즘을 통해 64층에 이르는 매우 깊은 DNN을 감독 히싱을 위해 학습시킬 수 있으며, 기울기 소실 문제와 계산 병목 현상을 극복한다. 단일 GPU에서 3시간 이내에 벤치마크 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

In this paper, we propose training very deep neural networks (DNNs) for supervised learning of hash codes. Existing methods in this context train relatively shallow networks limited by the issues arising in back propagation (\eg vanishing gradients) as well as computational efficiency. We propose a novel and efficient training algorithm inspired by alternating direction method of multipliers (ADMM) that overcomes some of these limitations. Our method decomposes the training process into independent layer-wise local updates through auxiliary variables. Empirically we observe that our training algorithm always converges and its computational complexity is linearly proportional to the number of edges in the networks. Empirically we manage to train DNNs with 64 hidden layers and 1024 nodes per layer for supervised hashing in about 3 hours using a single GPU. Our proposed very deep supervised hashing (VDSH) method significantly outperforms the state-of-the-art on several benchmark datasets.

연구 동기 및 목표

• 기울기 소실과 계산 비효율성으로 인해 얕은 네트워크의 성능에 한계가 있음을 해결하기 위해.
• 백프로파게이션 불안정성 없이 매우 깊은 신경망(64층 이상)을 감독 히싱을 위해 학습시킬 수 있도록 하기 위해.
• 네트워크 크기에 비례하여 선형적으로 확장 가능한 효율적인 학습 알고리즘을 개발하여 높은 정확도를 유지하기 위해.
• 실용적인 학습 시간 범위 내에서 깊은 아키텍처를 사용해 표준 벤치마크 데이터셋에서 최고 성능를 달성하기 위해.

제안 방법

• 이 방법은 보조 변수를 사용하여 깊은 네트워크 학습을 독립적이고 계층 단위의 국소 업데이트로 분해하는 ADMM에 영감을 받은 최적화 프레임워크를 활용한다.
• 각 계층은 국소 최적화를 통해 순차적으로 업데이트되며, 전역 백프로파게이션 과정과 분리되어 기울기 소실 문제를 완화한다.
• 이중 변수를 통해 제약 조건을 강제하고 원래 목표 함수와 번갈아가며 최소화함으로써 수렴을 보장한다.
• 계산 복잡도는 네트워크 내 간선 수에 비례하여 선형적으로 증가하므로 매우 깊은 아키텍처에서도 효율적인 학습이 가능하다.
• ReLU 활성화 함수와 해시 코드 예측을 포함한 엔드 투 엔드 학습을 지원하면서도 계층 수준에서 미분 가능성을 유지한다.
• 프레임워크는 단일 GPU에 구현되어 64층, 계층당 1024개 노드를 가진 네트워크를 약 3시간 내에 학습시킬 수 있다.

실험 결과

연구 질문

• RQ1 ADMM 기반 학습 알고리즘이 기울기 소실 문제를 겪지 않고 매우 깊은 신경망을 감독 히싱을 위해 효과적으로 학습시킬 수 있는가?
• RQ2 제안된 계층 단위 국소 업데이트 전략이 표준 백프로파게이션 대비 깊은 네트워크에서 해시 정확도를 유지하거나 향상시키는가?
• RQ3 이 방법의 계산 확장성은 네트워크의 깊이와 너비 측면에서 어떻게 되며, 64층 네트워크를 효율적으로 학습시킬 수 있는가?
• RQ4 제안된 VDSH 방법의 성능가 표준 벤치마크 데이터셋에서 최고 수준의 감독 히싱 방법과 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 VDSH 방법은 감독 히싱을 위해 최대 64개의 은닉 계층과 계층당 1024개의 노드를 가진 깊은 신경망을 성공적으로 학습시켰다.
• 단일 GPU를 사용해 약 3시간 내에 학습이 완료되어 높은 계산 효율성을 입증했다.
• 모든 실험에서 일관되게 수렴하여 기존 깊은 백프로파게이션에서 흔히 발생하는 불안정성 문제를 해결했다.
• 계산 복잡도는 네트워크 내 간선 수에 비례하여 선형적으로 증가하므로 대규모 아키텍처로의 효율적 확장이 가능하다.
• 여러 벤치마크 데이터셋에서 최고 성능를 달성하여 기존 방법들을 크게 능가했다.
• 보조 변수를 통한 계층 단위 국소 업데이트 전략이 매우 깊은 네트워크에서 기울기 소실 문제를 효과적으로 완화했다.