[논문 리뷰] Bio-Inspired Hashing for Unsupervised Similarity Search

Chaitanya K. Ryali, J. J. Hopfield외 2명|arXiv (Cornell University)|2020. 01. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 54인용 수 7

한 줄 요약

이 논문은 생물학적으로 타당한 학습 규칙을 사용하여 희박하고 고차원적인 이진 코드를 생성하는 데이터 기반, 생물학적 영감을 받은 해싱 알고리즘인 BioHash를 제안한다. 이는 CIFAR-10 및 MNIST와 같은 벤치마크 데이터셋에서 기존의 비지도 학습 해싱 방법—딥 러닝 기반 접근 방식을 포함하여—를 능가하며, 특히 짧은 코드 길이에서 뛰어난 성능을 보인다.

ABSTRACT

The fruit fly Drosophila's olfactory circuit has inspired a new locality sensitive hashing (LSH) algorithm, FlyHash. In contrast with classical LSH algorithms that produce low dimensional hash codes, FlyHash produces sparse high-dimensional hash codes and has also been shown to have superior empirical performance compared to classical LSH algorithms in similarity search. However, FlyHash uses random projections and cannot learn from data. Building on inspiration from FlyHash and the ubiquity of sparse expansive representations in neurobiology, our work proposes a novel hashing algorithm BioHash that produces sparse high dimensional hash codes in a data-driven manner. We show that BioHash outperforms previously published benchmarks for various hashing methods. Since our learning algorithm is based on a local and biologically plausible synaptic plasticity rule, our work provides evidence for the proposal that LSH might be a computational reason for the abundance of sparse expansive motifs in a variety of biological systems. We also propose a convolutional variant BioConvHash that further improves performance. From the perspective of computer science, BioHash and BioConvHash are fast, scalable and yield compressed binary representations that are useful for similarity search.

연구 동기 및 목표

• Drosophila와 같은 생물학적 후각 시스템에서 관찰되는 희박하고 확장성 있는 신경 모티프를 영감으로 삼아 데이터 기반 해싱 알고리즘을 개발하는 것.
• 특히 헤브시안 학습과 나눗셈 정규화를 포함한 생물학적으로 타당한 시냅스 가소성 규칙을 활용하여 비지도 유사도 검색 성능을 향상시키는 것.
• 희박하고 고차원적인 표현이 기존의 낮은 차원의 LSH나 딥 러닝 기반 해싱 방법보다 뛰어난 검색 정확도를 달성할 수 있음을 보여주는 것.
• 희박하고 확장성 있는 회로가 생물학적 신경 시스템에서 널리 퍼져 있는 이유를 효율적인 국소성 감지 해싱과 연결지어 계산적 근거를 제시하는 것.

제안 방법

• 입력 데이터를 이진 코드로 매핑하기 위해 희박하고 고차원적인 은닉층(m >> d)을 갖는 이중층 전방향 신경망을 사용한다.
• 은닉층은 국소적이고 헤브시안 유사 가소성 규칙과 나눗셈 정규화를 적용하여 희박성을 강제하고 학습된 특징의 직교화를 촉진한다.
• 활성된 전순방향 및 후순방향 뉴런 간의 연결을 강화하는 생물학적으로 타당한 업데이트 규칙을 통해 변환 가중치를 학습한다.
• k-우승자-한 명이 남는(k-WTA) 동역학과 피드백 억제를 통해 희박화를 달성하며, 각 입력에 대해 상위-k 뉴런만 활성화된다.
• 이를 확장하여 이미지 데이터에서 더 높은 성능을 내기 위해 컨볼루션 구조로 확장된 변형인 BioConvHash를 제안한다.
• 최종 해싱 코드는 은닉층의 활성화된 뉴런에서 파생된 이진 표현으로, 빠른 해밍 거리 계산을 통한 유사도 검색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 FlyHash와 같은 무작위 투영 기반 방법과 비교해 볼 때, 데이터 기반, 생물학적 영감을 받은 학습 규칙이 더 뛰어난 해싱 성능을 낼 수 있는가?
• RQ2 해싱에 나눗셈 정규화와 헤브시안 가소성 규칙을 통합하면 입력 변동에 대한 내성과 검색 정확도가 향상되는가?
• RQ3 생물학적 신경 모티프에서 유도된 희박하고 고차원적인 표현이 비지도 유사도 검색에서 낮은 차원 또는 딥 러닝 기반 해싱 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 희박하고 확장성 있는 회로가 생물학적 신경 시스템에서 널리 퍼져 있는 이유에 대해 계산적 근거가 존재하는가, 예를 들어 유사도 탐지용 LSH와의 연결을 통해?

주요 결과

• BioHash는 CIFAR-10CNN에서 mAP@1000 성능을 최신 기술로 달성하여 k=32일 때 64.61%, k=16일 때 63.47%를 기록하며, GreedyHash, SAH, DeepBit와 같은 기존 방법들을 뛰어넘었다.
• k=2일 때 BioHash는 CIFAR-10CNN에서 57.33%의 mAP를 기록하여 FlyHash(25.67%)와 PCAHash(21.89%)를 압도적으로 뛰어넘었으며, 최소 코드 길이에서도 뛰어난 성능을 보였다.
• k=2일 때 BioHash는 샘플당 저장 비용이 단 12비트에 불과하지만, k=16일 때 다른 방법들을 능가하는 성능을 보여, 효율성과 효과성 모두 뛰어나다.
• 컨볼루션 변형인 BioConvHash는 성능을 추가로 향상시켜, 이 방법이 계층적이고 컨볼루션 기반의 데이터 표현에 잘 일반화됨을 시사한다.
• 학습 규칙에 나눗셈 정규화를 통합함으로써 국소적 강도 변화에 대한 내성성이 뛰어나다는 것이 입증되었다.
• 결과는 희박하고 확장성 있는 신경 회로가 생물학적 시스템에서 국소성 감지 해싱의 계산적 기반 역할을 할 수 있다는 가설을 지지한다.