[논문 리뷰] Highly-Economized Multi-View Binary Compression for Scalable Image Clustering

Zheng Zhang, Li Liu외 6명|arXiv (Cornell University)|2018. 09. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 43인용 수 4

한 줄 요약

이 논문은 통합 최적화를 통해 압축된 이진 표현과 강건한 이산 클러스터 구조를 동시에 학습하는 새로운 프레임워크인 HSIC을 제안한다. $ε$-노름 제약을 가진 이산 최적화를 통해 시각별로 고유한 정보와 공유 정보를 활용함으로써 유클리드 거리 계산을 효율적인 XOR 연산으로 대체하여, NUS-WIDE(100만 개의 특징, 81초, 5.52MB 메모리)와 같은 대규모 데이터셋에서 $k$-means에 비해 95% 적은 메모리와 90% 빠른 런타임으로 최신 기술 수준의 클러스터링 성능을 달성한다.

ABSTRACT

How to economically cluster large-scale multi-view images is a long-standing problem in computer vision. To tackle this challenge, we introduce a novel approach named Highly-economized Scalable Image Clustering (HSIC) that radically surpasses conventional image clustering methods via binary compression. We intuitively unify the binary representation learning and efficient binary cluster structure learning into a joint framework. In particular, common binary representations are learned by exploiting both sharable and individual information across multiple views to capture their underlying correlations. Meanwhile, cluster assignment with robust binary centroids is also performed via effective discrete optimization under L21-norm constraint. By this means, heavy continuous-valued Euclidean distance computations can be successfully reduced by efficient binary XOR operations during the clustering procedure. To our best knowledge, HSIC is the first binary clustering work specifically designed for scalable multi-view image clustering. Extensive experimental results on four large-scale image datasets show that HSIC consistently outperforms the state-of-the-art approaches, whilst significantly reducing computational time and memory footprint.

연구 동기 및 목표

• 고차원 실수형 특징과 비용이 많이 드는 유클리드 거리 계산으로 인해 발생하는 대규모 다시보기 이미지 클러스터링의 확장성 문제를 해결한다.
• 이진 표현 학습과 이산 클러스터 구조 학습을 동시에 최적화하는 통합 프레임워크를 개발하여 효율성과 성능을 향상시킨다.
• 압축된 이진 코드를 통해 연속된 실수형 연산을 빠른 이진 XOR 연산으로 대체함으로써 클러스터링의 계산 및 메모리 오버헤드를 줄인다.
• 높은 클러스터링 정확도를 유지하면서도 자원 제약이 있는 장치에 실용적으로 구현할 수 있도록 메모리 사용량과 계산 시간을 최소화한다.
• 기존의 단일 시각 또는 다중 시각 클러스터링 방법의 한계를 극복하기 위해 이질적인 시각들 간의 공통 정보와 개별 정보를 이진 공간에서 통합한다.

제안 방법

• 이진 표현 학습과 이산 클러스터 중심점 학습을 동시에 수행하는 공동 최적화 프레임워크를 제안한다.
• 강건한 이진 클러스터 중심점을 학습하기 위해 $ε$-노름 제약을 가진 이산 최적화 모델을 사용하여 클러스터링의 안정성과 성능을 향상시킨다.
• 다양한 시각들 간의 공유 가능한 정보와 시각별 고유한(개별적) 정보를 통합된 이진 코드 표현에 통합하여 시각 간 상관관계를 유지한다.
• 데이터를 저차원 히프만 공간으로 매핑함으로써 비용이 많이 드는 실수형 유클리드 거리 계산을 효율적인 이진 XOR 연산으로 대체한다.
• 이산 최적화 문제를 해결하기 위해 교대 최적화 알고리즘을 사용하여 이진 코드와 클러스터 할당에 대해 고품질의 이산 해를 보장한다.
• 이진 코드 학습 과정에서 다양한 시각의 중요도를 동적으로 균형 잡는 적응형 가중치 학습 기법을 적용하여 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 이진 표현 학습과 이산 클러스터 구조 학습을 동시에 최적화하는 통합 프레임워크가 대규모 다중 시각 이미지 클러스터링의 확장성과 성능을 크게 향상시킬 수 있는가?
• RQ2 다양한 이질적 시각들 간의 공통 정보와 개별 정보를 이진 공간에서 통합할 경우 클러스터링 성능에 어떤 영향을 미치는가?
• RQ3 실수형 유클리드 거리 계산을 이진 XOR 연산으로 대체함으로써 계산 및 메모리 비용을 얼마나 줄일 수 있으며, 클러스터링 정확도를 손상시키지 않을 수 있는가?
• RQ4 대규모 데이터셋에서 최신 기술 수준의 실수형 및 이진 클러스터링 방법들과 비교할 때, 제안된 방법은 정확도, 속도, 메모리 효율성 측면에서 어떤가?
• RQ5 제안된 방법은 클러스터 수와 코드 길이의 변화에 대해 강건한가? 또한 최적의 클러스터 구성 설정을 적응적으로 결정할 수 있는가?

주요 결과

• HSIC는 네 개의 대규모 다중 시각 데이터셋에서 최신 기술 수준의 클러스터링 성능을 달성하며, 실수형 및 이진 클러스터링 기준선을 일관되게 능가한다.
• 5개의 시각과 약 100만 개의 특징을 가진 NUS-WIDE 데이터셋에서 HSIC는 81초 동안 5.52MB 메모리만을 사용하여 클러스터링을 완료했으며, $k$-means는 29분과 961MB를 소요한다.
• HSIC는 $k$-means에 비해 메모리 사용량을 95% 이상 줄이고 계산 속도를 90% 이상 빠르게 하여 강력한 확장성 잠재력을 입증한다.
• 짧은 코드 길이 조건에서도 높은 성능를 유지하며, 코드 길이가 32비트를 초과할 경우 $k$-means를 능가한다.
• 제거 실험 결과, 균형 제약 또는 독립성 제약과 같은 구성 요소를 제거하면 성능가 급격히 저하됨을 확인하여 통합 설계의 필요성을 입증한다.
• HSIC는 클러스터 수 변화에 대해 강력한 적응성을 보이며, Cifar-10에서 10개의 클러스터로 설정했을 때 최적의 성능를 기록했고, 테스트된 모든 클러스터 수에서 항상 상위 3개 이내로 랭크된다.