[논문 리뷰] Local Aggregation for Unsupervised Learning of Visual Embeddings

Chengxu Zhuang, Alex Zhai외 1명|arXiv (Cornell University)|2019. 03. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 73인용 수 78

한 줄 요약

이 논문은 Local Aggregation (LA)를 도입합니다. 이는 동적으로 소프트 로컬 클러스터를 형성하여 시각 임베딩을 학습하는 비지도 학습 방법으로, ImageNet, Places 205, 및 PASCAL VOC에서 비지도 전이 학습 성능을 최첨단으로 달성합니다.

ABSTRACT

Unsupervised approaches to learning in neural networks are of substantial interest for furthering artificial intelligence, both because they would enable the training of networks without the need for large numbers of expensive annotations, and because they would be better models of the kind of general-purpose learning deployed by humans. However, unsupervised networks have long lagged behind the performance of their supervised counterparts, especially in the domain of large-scale visual recognition. Recent developments in training deep convolutional embeddings to maximize non-parametric instance separation and clustering objectives have shown promise in closing this gap. Here, we describe a method that trains an embedding function to maximize a metric of local aggregation, causing similar data instances to move together in the embedding space, while allowing dissimilar instances to separate. This aggregation metric is dynamic, allowing soft clusters of different scales to emerge. We evaluate our procedure on several large-scale visual recognition datasets, achieving state-of-the-art unsupervised transfer learning performance on object recognition in ImageNet, scene recognition in Places 205, and object detection in PASCAL VOC.

연구 동기 및 목표

• 깊은 시각 표현에 대한 비지도 학습을 동기로 삼고 이를 발전시켜 감독 학습 방법과의 격차를 줄인다.
• 로컬 비모수적 어그리제이션을 활용하여 임베딩 공간에서 가까운 데이터가 클러스터링되도록 하고, 서로 다른 데이터는 구분되도록 한다.
• 동적이고 다중 규모의 소클러스터링 구조가 전이 성능과 다양한 태스크 및 아키텍처 전반에서 개선을 가져오는지 보여준다.
• 더 깊은 네트워크가 LA의 혜택을 더 많이 받으며, 라벨 없이도 경쟁력 있거나 우수한 결과를 달성한다.

제안 방법

• 신경망을 통해 입력을 비선형적으로 D차 단위 구면에 임베딩 v_i를 얻는다.
• 각 임베딩에 대해 두 개의 이웃 집합을 식별한다: 가까운 이웃 C_i와 배경 이웃 B_i; C_i는 V에 대해 강건한 클러스터링을 통해 다중 클러스터링에서 집계되며, B_i는 임베딩에서의 k-최근접 이웃을 사용한다.
• 로컬 어그리제이션 손실 L(C_i, B_i | θ, x_i)을 v_i가 배경 이웃임을 가정했을 때 C_i에 가까운지의 음의 로그 가능도 비로 정의한다. 이는 코사인 유사도에 대한 비모수적 소프트맥스와 온도 τ를 기반으로 한다.
• 임베딩 함수를 학습하기 위해 θ에 대한 L2 정규화를 사용하여 L을 최적화한다; 훈련 중 V를 효율적으로 근사하기 위해 메모리 뱅크를 사용한다.
• 연산이 매 단계마다 모든 특징을 재계산하지 않고도 이웃 식별을 안정화시키도록 임베딩의 실행 평균을 저장하는 메모리 뱅크 V̄를 유지한다.
• Warm-up으로 Instance Recognition 손실로 시작하고 이후 Local Aggregation 손실로 전환한다; 하이퍼파라미터로는 τ=0.07, D=128, k=4096 for B_i, 다중 클러스터링 H의 m 클러스터가 포함된다.

실험 결과

연구 질문

• RQ1 임베딩 공간에서의 로컬 비모수 어그리제이션이 고품질의 비지도 시각 표현을 낳을 수 있는가?
• RQ2 다이나믹하고 다중 규모의 클러스터링이 임베딩 공간의 기하학 및 다운스트림 전이 성능에 어떤 영향을 미치는가?
• RQ3 더 깊은 네트워크가 얕은 네트워크에 비해 LA 목표에서 더 큰 이점을 얻는가?
• RQ4 LA 접근법이 클러스터링 및 이웃 정의의 선택에 대해 강건한가?
• RQ5 LA로 학습된 표현이 이미지 분류, 장면 인식, 객체 탐지 과제에 효과적으로 전이될 수 있는가?

주요 결과

• LA는 여러 아키텍처에서 ImageNet 및 Places 205에 대한 분류에서 비지도 전이 학습의 최첨단을 달성한다.
• LA로 학습된 ResNet-50은 라벨 없이 ImageNet에서 상위 1% 정확도 60.2%를 달성하여 AlexNet 감독 학습을 능가한다.
• LA는 PASCAL VOC 2007에서의 객체 탐지 성능을 미세 조정 후 개선하여 이 과제에 대한 비지도 전이 학습의 최첨단을 달성한다.
• LA는 더 깊은 아키텍처의 이점을 얻어 conv1에서 conv5 계층까지 일관된 성능 향상을 보여준다.
• LA 표현은 다양한 시각 과제에 잘 일반화되며, 데이터셋 전반에서 강력한 KNN 및 선형 읽기 전이 성능을 보여준다.