[논문 리뷰] Density-Aware Graph for Deep Semi-Supervised Visual Recognition

Suichan Li, Bin Liu외 4명|arXiv (Cornell University)|2020. 03. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 6

한 줄 요약

이 논문은 데이터 밀도를 명시적으로 활용하여 특징 학습과 가짜 라벨 생성을 향상시키는 밀도 인지 그래프 프레임워크를 제안한다. 밀도 인지 근접 집합 모듈(DNA)과 밀도 상승 경로 기반 라벨 전파 모듈(DPLP)을 도입함으로써, 종단간 훈련을 가능하게 하여 CIFAR-10, CIFAR-100 및 Mini-ImageNet에서 기존 방법에 비해 뚜렷한 정확도 향상을 이룬 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semi-supervised learning (SSL) has been extensively studied to improve the generalization ability of deep neural networks for visual recognition. To involve the unlabelled data, most existing SSL methods are based on common density-based cluster assumption: samples lying in the same high-density region are likely to belong to the same class, including the methods performing consistency regularization or generating pseudo-labels for the unlabelled images. Despite their impressive performance, we argue three limitations exist: 1) Though the density information is demonstrated to be an important clue, they all use it in an implicit way and have not exploited it in depth. 2) For feature learning, they often learn the feature embedding based on the single data sample and ignore the neighborhood information. 3) For label-propagation based pseudo-label generation, it is often done offline and difficult to be end-to-end trained with feature learning. Motivated by these limitations, this paper proposes to solve the SSL problem by building a novel density-aware graph, based on which the neighborhood information can be easily leveraged and the feature learning and label propagation can also be trained in an end-to-end way. Specifically, we first propose a new Density-aware Neighborhood Aggregation(DNA) module to learn more discriminative features by incorporating the neighborhood information in a density-aware manner. Then a novel Density-ascending Path based Label Propagation(DPLP) module is proposed to generate the pseudo-labels for unlabeled samples more efficiently according to the feature distribution characterized by density. Finally, the DNA module and DPLP module evolve and improve each other end-to-end.

연구 동기 및 목표

• 기존 반감성 학습(SSL) 방법들이 밀도 정보를 암묵적으로 다루는 데 반해 명시적으로 활용하지 못하는 문제를 해결하기 위해.
• 단일 샘플 기반 특징 집합을 넘어서, 밀도 인지 방식으로 근접 정보를 통합하여 특징 학습을 향상시키기 위해.
• 오프라인으로 계산 비용이 큰 방법을 대체하여 온라인, 밀도 상승 경로 기반 방식을 도입함으로써 라벨 전파의 효율성과 미분 가능성을 확보하기 위해.
• 새로운 밀도 인지 그래프 구조를 사용해 특징 학습과 가짜 라벨 생성을 하나의 훈련 가능한 프레임워크로 통합하기 위해.

제안 방법

• 특징 유사도와 이웃의 밀도를 기반으로 어텐션 가중치를 계산하는 밀도 인지 근접 집합(DNA) 모듈을 제안하며, 모호한 경우 높은 밀도의 이웃을 우선시한다.
• 라벨가능 또는 라벨 미할당 샘플에서 출발하여 더 높은 밀도의 이웃을 따라 상승하는 경로를 구성함으로써 효율적인 온라인 라벨 전파를 가능하게 하는 밀도 상승 경로 기반 라벨 전파(DPLP) 모듈을 도입한다.
• k-NN 검색(Faiss 등을 통해)을 사용하여 전역적 밀도 인지 그래프를 구축함으로써 노드의 밀도를 계산하고, DNA 및 DPLP에 대한 이웃 관계를 정의한다.
• DNA 및 DPLP 모듈이 종단간으로 상호 발전할 수 있도록 공동 훈련 전략을 설계함으로써, 특징 학습과 가짜 라벨 생성이 상호 보완적으로 향상되도록 한다.
• 특징 유사도에 기반해 종료되는 밀도 상승 경로 제약 조건을 도입하여 경로의 효율성과 확장 가능성을 보장한다.
• Mixup 데이터 증강 기법과 표준 딥 네트워크 백본을 사용하며, 제안된 모듈을 표준 SSL 파ip라인에 통합한다.

실험 결과

연구 질문

• RQ1 데이터 밀도를 명시적으로 모델링하면 암묵적인 밀도 가정을 넘어서 반감성 시각 인식 성능을 향상시킬 수 있는가?
• RQ2 밀도 인지 집합 메커니즘을 통해 근접 정보를 효과적으로 특징 학습에 활용할 수 있는가?
• RQ3 큰 선형 시스템을 푸는 대신 밀도 상승 경로를 구성함으로써 라벨 전파를 효율적이고 미분 가능하게 만들 수 있는가?
• RQ4 특징 학습과 라벨 전파를 종단간으로 훈련하면 분리되거나 오프라인 접근 방식에 비해 성능이 향상되는가?

주요 결과

• 4,000개의 라벨 샘플을 사용할 때, 제안된 방법은 CIFAR-100에서 기존 최신 기술 수준보다 1.94% 높은 38.04%의 오차율을 기록하며 새로운 최신 기술 수준을 달성한다.
• 더 도전적인 Mini-ImageNet 벤치마크에서, 4,000개의 라벨 샘플을 사용할 때 55.97%의 정확도를 기록하며 기존 최신 기술 수준보다 14.32% 높게 성과를 냈다.
• DPLP 모듈만으로도 CIFAR-100(4k 라벨)에서 오차율이 1.54% 감소하였고, DNA 모듈만으로도 1.52% 감소하여 각각 강력한 기여도를 보였다.
• DNA와 DPLP의 조합은 CIFAR-100(4k 라벨)에서 오차율을 38.04%로 낮춰 상호 보완적인 향상을 입증했다.
• 밀도 상승 경로 길이 분포는 주로 5에서 25 사이에 분포해 있어, 거의 무시할 수 없는 계산 오버헤드로 효율적인 온라인 추론이 가능함을 시사한다.
• 프레임워크는 기준 모델과 유사한 테스트 시점 효율성을 유지하며, k-NN 검색 오버헤드는 특징 추출에 비해 무시할 수 있을 정도로 낮다.