[논문 리뷰] Learning Global and Local Consistent Representations for Unsupervised Image Retrieval via Deep Graph Diffusion Networks

Zhiyong Dou, Haotian Cui외 2명|arXiv (Cornell University)|2020. 01. 05.

Advanced Graph Neural Networks참고 문헌 46인용 수 6

한 줄 요약

이 논문은 그래프 신경망(GNNs)과 비지도 학습 손실 함수를 활용하여 전역 및 국소적으로 일관된 표현을 학습하는 깊이 있는 그래프 확산 네트워크인 GRAD-Net을 제안한다. 이는 비지도 이미지 검색을 위한 전역 및 국소적 일관성 있는 표현을 학습하며, 새로운 쿼리에 대해 확장 가능하고 인도적 추론을 가능하게 하며, 대규모 벤치마크에서 최신 기술을 초월하여 Oxford5k에서 쿼리 확장 시 96.05 mAP를 달성한다.

ABSTRACT

Diffusion has shown great success in improving accuracy of unsupervised image retrieval systems by utilizing high-order structures of image manifold. However, existing diffusion methods suffer from three major limitations: 1) they usually rely on local structures without considering global manifold information; 2) they focus on improving pair-wise similarities within existing images input output transductively while lacking flexibility to learn representations for novel unseen instances inductively; 3) they fail to scale to large datasets due to prohibitive memory consumption and computational burden due to intrinsic high-order operations on the whole graph. In this paper, to address these limitations, we propose a novel method, Graph Diffusion Networks (GRAD-Net), that adopts graph neural networks (GNNs), a novel variant of deep learning algorithms on irregular graphs. GRAD-Net learns semantic representations by exploiting both local and global structures of image manifold in an unsupervised fashion. By utilizing sparse coding techniques, GRAD-Net not only preserves global information on the image manifold, but also enables scalable training and efficient querying. Experiments on several large benchmark datasets demonstrate effectiveness of our method over state-of-the-art diffusion algorithms for unsupervised image retrieval.

연구 동기 및 목표

• 기존의 확산 기반 비지도 이미지 검색 방법의 한계를 해결하기 위해, 국소적 구조에 의존하고 인도적 일반화 능력이 부족하며 확장성이 떨어지는 문제를 해결한다.
• 비지도 및 종단 간(end-to-end) 방식으로 이미지 다양체의 공동 전역 및 국소 기하학적 구조를 학습한다.
• 전체 그래프의 재계산 없이도 새로운 쿼리에 대해 효율적이고 인도적인 추론을 가능하게 한다.
• 희소 코딩과 미니배치 GNN 학습을 통해 대규모 데이터셋에서 메모리 및 계산 비용을 줄인다.

제안 방법

• GRAD-Net은 국소적 이웃 구조와 전역 다양체 구조를 모두 모델링함으로써 그래프 신경망(GNNs)을 사용해 이미지 표현을 학습한다.
• 확산 과정을 직접 인코딩하는 두 가지 비지도 손실 함수를 사용하여 레이블이 없는 데이터로도 종단 간 학습이 가능하다.
• 희소 코딩 기법을 통합하여 전역 다양체 정보를 유지하면서도 효율적이고 확장 가능한 학습 및 추론을 가능하게 한다.
• 미리 학습된 잠재 공간에 새로운 쿼리 특징을 투영하는 쿼리 특징 확장(QFE)을 통해 인도적 학습을 지원한다.
• faiss를 통한 절삭된 그래프 구축 방식으로 k-NN 그래프 구축 속도를 향상시켜 메모리 및 계산 오버헤드를 감소시킨다.
• 희소 그래프에서의 미니배치 학습을 통해 선형 시간 복잡도 O(N)을 확보하여 GRAD-Net이 대규모 데이터셋에 확장 가능하도록 한다.

실험 결과

연구 질문

• RQ1 깊이 있는 그래프 확산 네트워크는 비지도 방식으로 이미지 다양체의 국소 및 전역 기하학적 구조를 효과적으로 포착할 수 있는가?
• RQ2 GRAD-Net은 기존의 재계산이 필요한 전이적 추론을 피하고, 새로운 쿼리에 대해 인도적 방식으로 일반화할 수 있는가?
• RQ3 희소 코딩과 GNN의 통합은 대규모 이미지 검색 데이터셋에서 확장 가능한 학습 및 추론을 가능하게 하는가?
• RQ4 기존의 확산 및 신경망 기반 비지도 검색 방법과 비교해 GRAD-Net은 성능 및 효율성 면에서 얼마나 우수한가?

주요 결과

• 쿼리 확장 기법을 적용한 Oxford5k에서 GRAD-Net은 96.05 mAP를 달성하여 이전 최고 성능 기법인 Efficient Diffusion(89.6 mAP)을 크게 능가한다.
• 모델은 선형 시간 복잡도 O(N)과 확장 가능한 메모리 사용을 보이며, 10,000개의 인스턴스까지 자르지 않고도 학습이 가능하다.
• 절삭 기법을 적용한 경우 GRAD-Net은 메모리 소비를 크게 줄여 21,000개 인스턴스에서도 메모리 부족 오류 없이 작동하지만, GSS는 이 규모에서 실패한다.
• QFE 방법을 통해 효과적인 인도적 추론이 가능해져, 새로운 쿼리에 대해 두 번 적용했을 때 mAP가 96.01에서 96.05로 향상된다.
• GRAD-Net의 학습 시간은 데이터셋 크기에 따라 선형적으로 증가하며, GSS와 같은 유사한 GNN 기반 방법보다도 추론 시간이 빠르다.