[논문 리뷰] CliqueCNN: Deep Unsupervised Exemplar Learning

Miguel Ángel Bautista, Artsiom Sanakoyeu외 2명|arXiv (Cornell University)|2016. 08. 31.

Human Pose and Action Recognition참고 문헌 29인용 수 49

한 줄 요약

CliqueCNN는 클러스터 기반의 배치 최적화를 통해 약한 국소적 유사성 신호만을 사용하여, 서로 다른 클러스터 간에 균형 잡힌 훈련 배치를 생성함으로써 예시 기반 유사성 학습을 위한 비지도 딥 러닝 방법을 제안한다. 클러스터 분류 문제로 유사성 학습을 재정의함으로써, 레이블 없이도 강건하고 일반화 가능한 표현을 학습하며, 자세 분석 및 물체 분류 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Exemplar learning is a powerful paradigm for discovering visual similarities in an unsupervised manner. In this context, however, the recent breakthrough in deep learning could not yet unfold its full potential. With only a single positive sample, a great imbalance between one positive and many negatives, and unreliable relationships between most samples, training of Convolutional Neural networks is impaired. Given weak estimates of local distance we propose a single optimization problem to extract batches of samples with mutually consistent relations. Conflicting relations are distributed over different batches and similar samples are grouped into compact cliques. Learning exemplar similarities is framed as a sequence of clique categorization tasks. The CNN then consolidates transitivity relations within and between cliques and learns a single representation for all samples without the need for labels. The proposed unsupervised approach has shown competitive performance on detailed posture analysis and object classification.

연구 동기 및 목표

• 클래스당 한 개의 양성 샘플만 존재하고 음성 샘플이 양성 샘플보다 훨씬 많기 때문에, 비지도 예시 학습을 위한 CNN 훈련에 도전하는 것.
• 모호하거나 누락된 쌍별 관계가 존재하는 극도로 불균형한, 약한 지도 학습 환경에서 확률적 경사 하강법(SGD)의 불안정성을 해결하는 것.
• 수동 애너테이션이나 대규모 레이블된 데이터셋에서의 사전 훈련 없이도, 예시 간의 전이성과 일반화 가능한 시각적 유사성을 학습하는 방법을 개발하는 것.
• 강한 국소적 유사성 신호만을 사용하여, 인간 자세 추정 및 물체 인식과 같은 세분화된 시각 작업을 위한 효과적인 딥 표현 학습을 가능하게 하는 것.
• 일관된 균형 잡힌 훈련 배치를 생성하기 위해, 밀집된 상호 거리가 먼 클러스터로 구성된 단일 최적화 문제를 설정하는 것. 이는 애매하거나 모순되는 관계에서 기인하는 잘못된 지도 신호를 최소화한다.

제안 방법

• 근접한 복제본 또는 먼 쌍과 같은 약한 국소적 유사성 추정치를 사용하여, 예시 주위에 밀집된 상호 유사한 샘플의 초기 소형 클러스터를 구성한다.
• 이 클러스터들을 훈련 배치로 그룹화하기 위한 글로벌 최적화 문제를 설정하여, 각 배치 내의 모든 클러스터가 상호로 비유사하도록 하며, 각 샘플에 대한 신뢰할 수 있는 지도 신호를 보장한다.
• 사전 과제 분류 작업을 정의: 주어진 샘플이 특정 배치 내의 특정 클러스터에 속해 있는지 예측하는 것. 이를 통해 CNN은 전이적 추론을 통해 구분 가능한 특징을 학습할 수 있다.
• 클러스터 분류 과제에서 교차 엔트로피 손실을 사용하여 CNN을 엔드 투 엔드로 훈련함으로써, 네트워크가 애매한 쌍별 관계를 암묵적으로 조율하고 배치 간에 유사성을 일반화할 수 있도록 한다.
• 학습된 특징의 전이성을 활용하여, 누락되거나 신뢰할 수 없는 유사성 관계를 전파하고 보완함으로써, 일관된 글로벌 유사성 구조를 구축한다.
• PASCAL VOC나 Leeds Sports와 같은 최종 작업 데이터셋에서의 미세조정 없이도, Wang 등 [33]의 약한 비지도 유사성 추정치를 사용하여 모델을 초기화한다.

실험 결과

연구 질문

• RQ1 극도로 불균형한 클래스 분포와 신뢰할 수 없는 쌍별 관계가 존재하는 상황에서도, 비지도 예시 학습을 위한 딥 CNN이 효과적으로 훈련될 수 있는가?
• RQ2 충돌하는 지도 신호를 최소화하면서도 균형 잡힘과 대표성을 유지할 수 있도록 훈련 배치를 어떻게 구성할 수 있는가?
• RQ3 클러스터 기반 그룹화 전략을 통해, 레이블 없이도 CNN이 전이성과 일반화 가능한 시각적 유사성을 학습할 수 있는가?
• RQ4 클러스터 분류를 통한 비지도 CNN 학습이 기존의 비지도 및 약한 지도 학습 방법보다 세분화된 시각 작업에서 얼마나 뛰어난 성능을 내는가?
• RQ5 제안된 방법이 레이블 데이터에서의 미세조정 없이도 인간 자세 추정 및 물체 분류와 같은 최종 작업에 일반화되는가?

주요 결과

• CliqueCNN는 인간 자세 추정에 대해 Leeds Sports 데이터셋에서 43.5%의 Correct Parts (PCP) 성능을 기록하여, 비지도 설정에서 HOG-LDA(38.4%)와 AlexNet(41.1%)를 뛰어넘었다.
• Wang 등 [33]의 기준 비지도 유사성 측정치보다 3%p 향상되어, PASCAL VOC 2007 물체 분류에서 어떤 미세조정 없이도 48.12%의 정확도를 달성했다.
• 학습된 표현은 앞뒤 뒤집힘에 대해 불변성을 보이며, 형태 유사성이 유지되는 한 외관 변화에 대해 강건함을 입증했다.
• 실패 사례에서는 형태 유사성으로 인해 앞면과 뒷면의 사람을 혼동하는 경향을 보였으며, 이는 얼굴 검출과 같은 추가적인 인도적 편향이 필요함을 시사한다.
• 모델은 새로운 데이터로도 잘 일반화되며, 정성적 결과에서 훈련 세트 내 가장 가까운 이웃이 정확하게 자세를 예측하는 등 자세 전이가 성공적으로 이루어졌다.
• 완전히 비지도 학습임에도 불구하고, Pose Machines(72.0% PCP)와 같은 완전히 지도된 최신 기술 수준의 접근법과 경쟁 가능한 성능을 달성했다.