[논문 리뷰] Graph-RISE: Graph-Regularized Image Semantic Embedding

Da-Cheng Juan, Chun-Ta Lu외 8명|arXiv (Cornell University)|2019. 02. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 28

한 줄 요약

Graph-RISE는 공개 클릭 및 유사 이미지 클릭 데이터를 활용한 그래프 정규화와 함께 4000만 개 클래스의 이미지 분류 작업을 결합하여 초세밀한 인스턴스 수준의 의미를 포착할 수 있도록 이미지 임베딩을 훈련하는 대규모 신경 그래프 학습 프레임워크를 제안한다. k-NN 평가에서 ImageNet에서 SOTA 기준 약 2배 높은 Top-1 정확도와 iNaturalist에서 5배 이상 높은 성능을 기록하며, 질적 결과에서는 검색 작업에서 인간의 인지와 더 잘 일치하는 결과를 보여준다.

ABSTRACT

Learning image representations to capture fine-grained semantics has been a challenging and important task enabling many applications such as image search and clustering. In this paper, we present Graph-Regularized Image Semantic Embedding (Graph-RISE), a large-scale neural graph learning framework that allows us to train embeddings to discriminate an unprecedented O(40M) ultra-fine-grained semantic labels. Graph-RISE outperforms state-of-the-art image embedding algorithms on several evaluation tasks, including image classification and triplet ranking. We provide case studies to demonstrate that, qualitatively, image retrieval based on Graph-RISE effectively captures semantics and, compared to the state-of-the-art, differentiates nuances at levels that are closer to human-perception.

연구 동기 및 목표

• 카테고리 수준 또는 세밀한 의미적 차이보다 인간의 인지에 더 가까운 인스턴스 수준의 의미를 포착하는 이미지 임베딩을 학습하는 것.
• 세밀한 순서 정렬을 위한 고품질 트리플릿 수집의 과제를 해결하기 위해 트리플릿 학습을 대체할 대규모 분류 프레임워크를 제안하는 것.
• 라벨을 초월한 인간의 인지 기반 이미지 유사성 정보를 그래프 정규화를 통해 임베딩 학습에 통합하는 것.
• 4000만 개의 클래스를 가진 대규모 이미지 분류와 그래프 정규화 학습이 최신 기술 수준의 이미지 임베딩을 생성할 수 있음을 보여주는 것.
• 그래프 정규화된 딥 러닝이 이미지 검색에서 정량적 성능 향상과 정성적 의미 일치도 향상에 기여하는지 검증하는 것.

제안 방법

• 약 4000만 개의 클래스와 26000만 개의 이미지를 가진 대규모 이미지 분류 작업으로 이미지 임베딩 학습을 설정하여 세밀한 의미적 차별화를 가능하게 한다.
• 표본 소프트맥스를 활용해 큰 레이블 공간에서 효율적으로 모델을 훈련시키며, 표준 크로스 엔트로피 훈련보다 성능 향상을 이룬다.
• 사용자 상호작용 로그에서 유도된 공개 클릭 비율과 유사 이미지 클릭 비율을 바탕으로 두 가지 유형의 이미지-이미지 유사성 그래프를 구축한다. 이는 인간의 유사성 인지 정보를 캡처한다.
• 그래프에 연결된 이미지 간의 임베딩 거리를 최소화하는 그래프 정규화기를 도입하여 의미적으로 유사한 이미지가 더 가까운 표현을 가지도록 유도한다.
• 더 세밀한 시각적 특징을 포착하기 위해 입력 크기를 더 크게(289×289) 설정한 딥 리드미드 네트워크(ResNet-101)를 사용하여 성능을 향상시킨다.
• 엔드 투 엔드 훈련 중에 지도 학습 손실과 그래프 정규화 손실을 결합하여 레이블 예측과 의미 유사성 모두를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 4000만 개의 클래스를 가진 대규모 분류로 훈련된 이미지 임베딩이 카테고리 수준 또는 세밀한 의미적 접근보다 인간의 인지에 더 가까운 인스턴스 수준의 의미를 포착할 수 있는가?
• RQ2 공개 클릭 및 유사 이미지 클릭 데이터를 활용한 그래프 정규화가 단순 지도 학습보다 더 나은 이미지 임베딩 품질을 향상시킬 수 있는가?
• RQ3 트리플릿 기반 순서 정렬을 대체로 대규모 분류 프레임워크를 도입할 경우 이미지 검색 및 유사도 작업에서 더 높은 성능을 기대할 수 있는가?
• RQ4 그래프 정규화된 임베딩이 k-NN 및 트리플릿 순서 정렬 평가에서 얼마나 SOTA 모델을 초월하는가?
• RQ5 기존 방법과 비교해 볼 때, 검색된 이미지가 인간의 의미 유사성 판단과 얼마나 잘 일치하는가?

주요 결과

• k-Nearest-Neighbor 평가에서 Graph-RISE는 ImageNet 데이터셋에서 SOTA 대비 약 2배 높은 Top-1 정확도를 기록한다.
• iNaturalist 데이터셋에서 Graph-RISE는 k-NN 평가에서 SOTA 대비 Top-1 정확도를 5배 이상 향상시켰다.
• PIT 및 GIT 데이터셋에서의 트리플릿 순서 정렬 평가에서 Graph-RISE는 DeepRanking, Inception (8M), ResNet (8M)을 일관되게 능가했으며, 특히 높은 마진 값에서 두드러진 성능을 보였다.
• 인간 평가 결과, Graph-RISE는 DeepRanking이나 ResNet (40M)보다 쿼리 이미지와 더 의미적으로 일치하는 이미지를 검색했으며, 강한 유사성 이미지에 대해 더 높은 일치도를 보였다.
• 224×224 대신 더 큰 입력 크기(289×289)를 사용할 경우 PIT 트리플릿 평가에서 모델 정확도가 1.57%p 향상되었다.
• 그래프 정규화기가 공개 클릭 또는 유사 이미지 쌍 간의 임베딩 거리를 효과적으로 줄여 의미 군집화와 검색 품질 향상에 기여했다.